博科近日宣布,日本最大的互联网公司以及全球数字市场领导者——雅虎(日本)公司已完成博科以太网矩阵解决方案的部署,将其作为整个企业大数据项目的网络基础。新的博科以太网矩阵现在为Apache Hadoop提供高性能数据吞吐量,同时较之前基础架构削减了一半运营成本。
大数据是雅虎(日本)的关键战略计划。部署该项目是为了帮助公司保持其“向用户提供互联网服务”方面的创新领导地位。Hadoop用来分析从其门户网站获取的大量信息,并充分利用这些数据来改进雅虎(日本)的服务质量,并且创建新服务。Hadoop还用来支持电子商务,并能够为公司的用户群每天提供数百万个性化的相关内容推荐。
在雅虎(日本),博科VDX以太网矩阵模块和固定端口网络交换机替代了传统基于生成树协议的网络。新的自动化网络基础架构连接了数百个服务器,这些服务器又支持数千个节点,专门用来支持整个企业的Hadoop分析。
随着企业机构内部大数据分析要求和感知价值的显著增长,雅虎(日本)迅速意识到必须构建一个可在整个企业共享的更大的新Hadoop基础架构。显而易见的是,由于数据吞吐量限制、无法轻松增加容量,以及与日俱增的运营复杂性使得应用程序性能和可用性面临风险,传统网络并不适合新的Hadoop设计。
为大数据提供坚实基础
在雅虎(日本)支持新Hadoop环境的网络要求包括:能够扩展环境,以高成本效益迅速增加更多节点,需要支持节点间的突发、高速通信等方面。在对备选方案进行分析之后,雅虎(日本)决定,以太网矩阵架构最适合其新的Hadoop环境——能够轻松灵活地进行扩展,并且具有高性能数据吞吐量。
在确定最适合Hadoop的网络要求之后,雅虎(日本)认真对比并测试了几种以太网矩阵解决方案,评估其性能、功能、成本和运营管理。评估一结束,公司就因为高性能、低延迟、深缓冲以及自动化部署和运营简洁性而敲定使用博科 VCS矩阵技术和博科VDX交换机,由于不再需要手动配置,从而节约了时间。
现在,这一新开发的、用于整个企业的共享Hadoop网络基础架构包含多个带有数千个节点的集群。高密度博科VDX 8770模块化机箱作为汇聚交换机来使用,它集成了一系列机架,以便在交换机之间创建矩阵。VDX机箱利用交换机的高带宽多机箱中继(MCT)功能而连接至博科MLXe核心路由器。公司还部署了固定端口博科VDX交换机,以便为雅虎(日本)集团公司其它项目所使用的较小的Hadoop基础架构来构建矩阵。
分析师观点:大数据的以太网矩阵
据Gartner的数据1显示,“大数据服务器产生大量网络要求、放量和突发服务器-到-服务器(例如:东/西)流量。要想应对这些特征,网络设计师必须确保其网络交换基础架构满足关键要求。”
就在同一份报告中,Gartner表示,大数据部署中的交换机应通过“高带宽接入和上行链路接口”来解决“服务器之间的高流量”,以及“低延迟”问题。交换基础架构必须还要通过“具有低超利用率的线速功能,深层数据包缓冲功能以及低延迟”来解决“突发流量模式和不同数据采集模式”的大数据特点。已经部署现代“以太网矩阵”(例如一层或两层物理网状或部分网状拓扑)的企业机构将有可能满足上述网络要求。
雅虎(日本)网站运营部门基础架构工程部数据中心网络经理Kenya Murakoshi表示:“除了提供支持大量流量来处理我们新Hadoop环境所需的高性能以外,博科VCS矩阵还让我们能够将网络部署和运营所花的时间减少一半以上,这将显著降低运营成本。与其它矩阵技术相比,博科VCS矩阵的简洁性是不可思议的,从而让我们能够以巨大的灵活性快速扩展网络。”
博科数据中心与校园网络副总裁Jason Nolet表示:“雅虎(日本)是越来越多采用我们以太网矩阵交换机来支持企业大数据计划的一个典型代表。我们非常高兴能够成为雅虎(日本)Hadoop解决方案的关键组成部分,并且很自豪能够提供同类最佳的网络自动化和性能,帮助雅虎(日本)显著降低其运营成本,同时确保关键应用程序以最佳水平运行。”
好文章,需要你的鼓励
机器人和自动化工具已成为云环境中最大的安全威胁,网络犯罪分子率先应用自动化决策来窃取凭证和执行恶意活动。自动化攻击显著缩短了攻击者驻留时间,从传统的数天减少到5分钟内即可完成数据泄露。随着大语言模型的发展,"黑客机器人"将变得更加先进。企业面临AI快速采用压力,但多数组织错误地关注模型本身而非基础设施安全。解决方案是将AI工作负载视为普通云工作负载,应用运行时安全最佳实践。
MBZUAI研究团队发布了史上最大的开源数学训练数据集MegaMath,包含3716亿个Token,是现有开源数学数据集的数十倍。该数据集通过创新的数据处理技术,从网页、代码库和AI合成等多个来源收集高质量数学内容。实验显示,使用MegaMath训练的AI模型在数学推理任务上性能显著提升,为AI数学能力发展提供了强大支撑。
面对心理健康专业人士短缺问题,谷歌、麦肯锡和加拿大重大挑战组织联合发布《心理健康与AI现场指南》,提出利用AI辅助任务分担模式。该指南构建了包含项目适应、人员选择、培训、分配、干预和完成六个阶段的任务分担模型,AI可在候选人筛选、培训定制、客户匹配、预约调度和治疗建议等环节发挥作用。该方法通过将部分治疗任务分配给经过培训的非专业人员,并运用AI进行管理支持,有望缓解治疗服务供需失衡问题。
这项由多个知名机构联合开展的研究揭示了AI系统的"隐形思维"——潜在推理。不同于传统的链式思维推理,潜在推理在AI内部连续空间中进行,不受语言表达限制,信息处理能力提升约2700倍。研究将其分为垂直递归和水平递归两类,前者通过重复处理增加思考深度,后者通过状态演化扩展记忆容量。