博科近日宣布,日本最大的互联网公司以及全球数字市场领导者——雅虎(日本)公司已完成博科以太网矩阵解决方案的部署,将其作为整个企业大数据项目的网络基础。新的博科以太网矩阵现在为Apache Hadoop提供高性能数据吞吐量,同时较之前基础架构削减了一半运营成本。
大数据是雅虎(日本)的关键战略计划。部署该项目是为了帮助公司保持其“向用户提供互联网服务”方面的创新领导地位。Hadoop用来分析从其门户网站获取的大量信息,并充分利用这些数据来改进雅虎(日本)的服务质量,并且创建新服务。Hadoop还用来支持电子商务,并能够为公司的用户群每天提供数百万个性化的相关内容推荐。
在雅虎(日本),博科VDX以太网矩阵模块和固定端口网络交换机替代了传统基于生成树协议的网络。新的自动化网络基础架构连接了数百个服务器,这些服务器又支持数千个节点,专门用来支持整个企业的Hadoop分析。
随着企业机构内部大数据分析要求和感知价值的显著增长,雅虎(日本)迅速意识到必须构建一个可在整个企业共享的更大的新Hadoop基础架构。显而易见的是,由于数据吞吐量限制、无法轻松增加容量,以及与日俱增的运营复杂性使得应用程序性能和可用性面临风险,传统网络并不适合新的Hadoop设计。
为大数据提供坚实基础
在雅虎(日本)支持新Hadoop环境的网络要求包括:能够扩展环境,以高成本效益迅速增加更多节点,需要支持节点间的突发、高速通信等方面。在对备选方案进行分析之后,雅虎(日本)决定,以太网矩阵架构最适合其新的Hadoop环境——能够轻松灵活地进行扩展,并且具有高性能数据吞吐量。
在确定最适合Hadoop的网络要求之后,雅虎(日本)认真对比并测试了几种以太网矩阵解决方案,评估其性能、功能、成本和运营管理。评估一结束,公司就因为高性能、低延迟、深缓冲以及自动化部署和运营简洁性而敲定使用博科 VCS矩阵技术和博科VDX交换机,由于不再需要手动配置,从而节约了时间。
现在,这一新开发的、用于整个企业的共享Hadoop网络基础架构包含多个带有数千个节点的集群。高密度博科VDX 8770模块化机箱作为汇聚交换机来使用,它集成了一系列机架,以便在交换机之间创建矩阵。VDX机箱利用交换机的高带宽多机箱中继(MCT)功能而连接至博科MLXe核心路由器。公司还部署了固定端口博科VDX交换机,以便为雅虎(日本)集团公司其它项目所使用的较小的Hadoop基础架构来构建矩阵。
分析师观点:大数据的以太网矩阵
据Gartner的数据1显示,“大数据服务器产生大量网络要求、放量和突发服务器-到-服务器(例如:东/西)流量。要想应对这些特征,网络设计师必须确保其网络交换基础架构满足关键要求。”
就在同一份报告中,Gartner表示,大数据部署中的交换机应通过“高带宽接入和上行链路接口”来解决“服务器之间的高流量”,以及“低延迟”问题。交换基础架构必须还要通过“具有低超利用率的线速功能,深层数据包缓冲功能以及低延迟”来解决“突发流量模式和不同数据采集模式”的大数据特点。已经部署现代“以太网矩阵”(例如一层或两层物理网状或部分网状拓扑)的企业机构将有可能满足上述网络要求。
雅虎(日本)网站运营部门基础架构工程部数据中心网络经理Kenya Murakoshi表示:“除了提供支持大量流量来处理我们新Hadoop环境所需的高性能以外,博科VCS矩阵还让我们能够将网络部署和运营所花的时间减少一半以上,这将显著降低运营成本。与其它矩阵技术相比,博科VCS矩阵的简洁性是不可思议的,从而让我们能够以巨大的灵活性快速扩展网络。”
博科数据中心与校园网络副总裁Jason Nolet表示:“雅虎(日本)是越来越多采用我们以太网矩阵交换机来支持企业大数据计划的一个典型代表。我们非常高兴能够成为雅虎(日本)Hadoop解决方案的关键组成部分,并且很自豪能够提供同类最佳的网络自动化和性能,帮助雅虎(日本)显著降低其运营成本,同时确保关键应用程序以最佳水平运行。”
好文章,需要你的鼓励
随着员工自发使用生成式AI工具,CIO面临影子AI的挑战。报告显示43%的员工在个人设备上使用AI应用处理工作,25%在工作中使用未经批准的AI工具。专家建议通过六项策略管理影子AI:建立明确规则框架、持续监控和清单跟踪、加强数据保护和访问控制、明确风险承受度、营造透明信任文化、实施持续的角色化AI培训。目标是支持负责任的创新而非完全禁止。
马里兰大学研究团队通过测试25个大型AI模型发现,即使最先进的AI评判系统在需要同时考虑多个标准时也会出现严重偏差,准确率仅32%-53%。研究构建了Multi-Crit评测基准,揭示了AI在多标准权衡中的根本性局限,为改进AI评判系统的公平性和可靠性提供了重要参考,对AI在内容审核、产品评价等应用场景具有重要指导意义。
英国正式推出DaRe2THINK数字平台,旨在简化NHS全科医生参与临床试验的流程。该平台由伯明翰大学和MHRA临床实践研究数据链开发,能够安全传输GP诊所与NHS试验研究人员之间的健康数据,减少医生的管理负担。平台利用NHS现有健康信息,安全筛查来自450多家诊所的1300万患者记录,并使用移动消息系统保持试验对象参与度,为传统上无法参与的人群开辟了研究机会。
南京理工大学团队开发ViLoMem框架,首次实现AI的双流记忆机制,分别处理视觉和逻辑错误。该系统模仿人类认知,让AI能从错误中持续学习,在数学推理等多模态任务中显著提升准确率,为AI从被动工具向主动学习伙伴的转变提供了重要技术突破。