广汽丰田汽车有限公司成立于2004年,是由广州汽车集团股份有限公司和丰田汽车公司共同投资建设和经营的企业,公司位于中国极具活力的珠三角的几何中心--广州南沙区,占地面积282万平方米,当前员工数超过5500人,为国内最知名的汽车生产厂商之一。
随着业务的快速发展、公司人员规模不断扩大,企业内部产生的非结构化数据量也在高速增长,文档管理系统承担着越来越大的压力。目前,广汽丰田文档管理系统采用的是轻量级的容器架构,可实现快速发布和故障切换,为文档管理系统的快速迭代和稳定运行提供了保障。
然而当前文档管理系统拥有千万级的文件量且保持高速增长,底层所使用的集中式NAS存储与当前应用架构的矛盾日益突出:随着数据量的增长及业务的实时响应需求,NAS性能无法满足文档管理系统的要求;新增NAS卷的规划及频繁的变更操作,使IT运维变得更加复杂,增加IT故障风险;面对海量非结构化数据,NAS磁盘数量的扩容受限,而采购全新NAS设备成本高昂。
因此,广汽丰田IT部门负责人决定选纳更适合当前业务需求的方案。考虑到面对万亿级文件的存储,亚马逊、阿里云等公有云厂商普遍采用对象存储技术方案, 从2006年亚马逊发布S3对象存储至今已经在互联网行业应用超过十年,是经过实践所证明的海量非结构化数据存储的最佳方案。而到底哪种对象存储方案才更适合广汽丰田的文档管理系统,大致需要满足如下需求:
1. 去中心化:无中心节点,排除单点故障;
2. 分布式架构:易扩展,高可靠;
3. 海量数据性能:在海量文件场景下,文件数量增加,访问性能保持稳定;
4. x86服务器:控制成本,易更新,不被硬件厂商绑定;
5. 便捷运维:软硬件统一监控,智能告警。
经过多重考察、选型,最终广汽丰田选择部署杉岩海量对象存储(SandStone MOS)解决方案。杉岩海量对象存储采用去中心化、分布式架构,以软件形式部署在通用x86服务器上,支持百亿级文件及EB级容量存储。同时,具备高效的数据检索、智能化标签和数据分析能力,可以帮助广汽丰田轻松应对大数据和云时代的存储挑战。究其技术优势,主要有如下几点:
轻松扩展,高效访问
杉岩海量对象存储构建在通用的x86服务器上,采用去中心化全分布式架构,单集群可扩展至EB级规模。同时,杉岩对象存储产品利用先进的分布式哈希算法技术,通过哈希计算代替传统文件系统的树形索引,使得在单一命名空间下,可管理的文件数量达到百亿级别,轻松突破传统NAS数千万文件的瓶颈;另外,利用独有的缓存技术对数据访问进行加速,保证在海量数据下依旧保持稳定高效的访问性能。
通用架构,更新无忧
杉岩海量对象存储采用"x86通用硬件+软件"的分布式解耦架构,单个硬件更新维护不会影响到整个系统的正常运行。杉岩数据首创的分布式存储数据盘漫游功能,可以帮助用户渐进式的进行硬件更新,在业务持续运行下,实现硬件的更新换代。
统一管理,轻松运维
杉岩海量对象存储管理系统,统一监控、管理存储集群及所有服务器,故障自愈、自动巡检、自动换盘等功能可尽量减少运维人员的工作。单一命名空间下百亿级文件的支持,一个存储空间即可满足应用的全部需求,无需像传统NAS进行反复的扩容及变更,减小运维压力。
智能标签,快速检索
杉岩海量对象存储支持文件标签,并且具备标签检索功能,单个文件支持数百个标签,用户可将文件相关的元数据作为文件标签与数据一同存储与存储系统中,利用存储系统中的搜索引擎,实现文件的多维度搜索功能。另外,存储系统中搜索引擎同样采用分布式架构,保证在海量数据下的检索性能以及搜索引擎的高可靠性。
完美契合,无限前景
弹性、去中心化的杉岩海量对象存储,与文档管理系统的轻量级架构完美契合。广汽丰田文档管理系统经过短期的接口改造,成功对接S3接口,并将全部数据迁移至杉岩海量对象存储平台上。杉岩海量对象存储S3接口的无状态连接方式,与Docker环境中运行的无状态服务,共同搭建了弹性、无瓶颈、易扩展的系统架构。
过去,广汽丰田文档管理系统采用某知名厂商的中端NAS存储,在文件数达到3000多万的情况下,平均业务访问时延在500-800ms,且随着文件数量的上升,访问时延也有上升的趋势。2017年至今,杉岩海量对象存储已经为广汽丰田数千名员工稳定服务近一年时间,每天有近150万个请求发往存储,文件数量由原来的3000多万增长至8000多万,业务访问时延始终保持在100ms以内,并且文件数量的增多不会影响访问性能。
广汽丰田的IT部门使用杉岩海量对象存储后,不再需要担心业务及数据的增长给存储带来的压力,统一命名空间下百亿级文件数量的支持,大大减少了存储的变更操作和IT运维故障。同时,智能监控告警及自动巡检也为运维人员节省了大量的时间和精力。相信随着大数据积累工作的完成和人工智能技术的引入,杉岩海量对象存储将发挥更大价值,为广汽丰田的业务发展提供更大的助力。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。