博科近日宣布,日本最大的互联网公司以及全球数字市场领导者——雅虎(日本)公司已完成博科以太网矩阵解决方案的部署,将其作为整个企业大数据项目的网络基础。新的博科以太网矩阵现在为Apache Hadoop提供高性能数据吞吐量,同时较之前基础架构削减了一半运营成本。
大数据是雅虎(日本)的关键战略计划。部署该项目是为了帮助公司保持其“向用户提供互联网服务”方面的创新领导地位。Hadoop用来分析从其门户网站获取的大量信息,并充分利用这些数据来改进雅虎(日本)的服务质量,并且创建新服务。Hadoop还用来支持电子商务,并能够为公司的用户群每天提供数百万个性化的相关内容推荐。
在雅虎(日本),博科VDX以太网矩阵模块和固定端口网络交换机替代了传统基于生成树协议的网络。新的自动化网络基础架构连接了数百个服务器,这些服务器又支持数千个节点,专门用来支持整个企业的Hadoop分析。
随着企业机构内部大数据分析要求和感知价值的显著增长,雅虎(日本)迅速意识到必须构建一个可在整个企业共享的更大的新Hadoop基础架构。显而易见的是,由于数据吞吐量限制、无法轻松增加容量,以及与日俱增的运营复杂性使得应用程序性能和可用性面临风险,传统网络并不适合新的Hadoop设计。
为大数据提供坚实基础
在雅虎(日本)支持新Hadoop环境的网络要求包括:能够扩展环境,以高成本效益迅速增加更多节点,需要支持节点间的突发、高速通信等方面。在对备选方案进行分析之后,雅虎(日本)决定,以太网矩阵架构最适合其新的Hadoop环境——能够轻松灵活地进行扩展,并且具有高性能数据吞吐量。
在确定最适合Hadoop的网络要求之后,雅虎(日本)认真对比并测试了几种以太网矩阵解决方案,评估其性能、功能、成本和运营管理。评估一结束,公司就因为高性能、低延迟、深缓冲以及自动化部署和运营简洁性而敲定使用博科 VCS矩阵技术和博科VDX交换机,由于不再需要手动配置,从而节约了时间。
现在,这一新开发的、用于整个企业的共享Hadoop网络基础架构包含多个带有数千个节点的集群。高密度博科VDX 8770模块化机箱作为汇聚交换机来使用,它集成了一系列机架,以便在交换机之间创建矩阵。VDX机箱利用交换机的高带宽多机箱中继(MCT)功能而连接至博科MLXe核心路由器。公司还部署了固定端口博科VDX交换机,以便为雅虎(日本)集团公司其它项目所使用的较小的Hadoop基础架构来构建矩阵。
分析师观点:大数据的以太网矩阵
据Gartner的数据1显示,“大数据服务器产生大量网络要求、放量和突发服务器-到-服务器(例如:东/西)流量。要想应对这些特征,网络设计师必须确保其网络交换基础架构满足关键要求。”
就在同一份报告中,Gartner表示,大数据部署中的交换机应通过“高带宽接入和上行链路接口”来解决“服务器之间的高流量”,以及“低延迟”问题。交换基础架构必须还要通过“具有低超利用率的线速功能,深层数据包缓冲功能以及低延迟”来解决“突发流量模式和不同数据采集模式”的大数据特点。已经部署现代“以太网矩阵”(例如一层或两层物理网状或部分网状拓扑)的企业机构将有可能满足上述网络要求。
雅虎(日本)网站运营部门基础架构工程部数据中心网络经理Kenya Murakoshi表示:“除了提供支持大量流量来处理我们新Hadoop环境所需的高性能以外,博科VCS矩阵还让我们能够将网络部署和运营所花的时间减少一半以上,这将显著降低运营成本。与其它矩阵技术相比,博科VCS矩阵的简洁性是不可思议的,从而让我们能够以巨大的灵活性快速扩展网络。”
博科数据中心与校园网络副总裁Jason Nolet表示:“雅虎(日本)是越来越多采用我们以太网矩阵交换机来支持企业大数据计划的一个典型代表。我们非常高兴能够成为雅虎(日本)Hadoop解决方案的关键组成部分,并且很自豪能够提供同类最佳的网络自动化和性能,帮助雅虎(日本)显著降低其运营成本,同时确保关键应用程序以最佳水平运行。”
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。