作者:希捷科技全球高级副总裁暨中国区总裁孙丹
这篇文章并非出自于ChatGPT之手。不过在过去几个月中,生成式AI的确是炙手可热的话题。
科技巨头已将他们的运营计划建立在AI基础上。微软表示,生成式AI可为其增加400亿美元的营收。生成式AI市场可推动全球GDP增长近7万亿美元。约75%的公司预计在未来五年内会采用人工智能技术。ChatGPT在推出的最初两个月就拥有了1亿多用户,成为有史以来增长速度最快的消费级应用。
但是,如果缺失一个要素:数据,最好的人工智能模型也将毫无用处。
公司需要海量数据来训练人工智能模型,以便于从之前未开发的信息中获得洞察和价值。由于将来的人工智能工具将可以从过去的数据中挖掘到难以想象的见解,因此应尽可能多地保存数据。
聊天机器人以及图像和视频AI生成器会创建更多需要公司管理的数据,并且需要保留它们的推论以便于为未来的算法提供信息支撑。Gartner预计,到2025年,生成式AI将占生成数据总量的10%,而目前该比例还不足1%。将此项研究与IDC的全球数据圈预测研究进行交叉印证,我们预计ChatGPT、DALL-E、Bard和DeepBrain AI等生成式AI技术将在未来五年内创建ZB级数据。
只有采用简单且经济高效的数据存储策略,企业才能大规模训练和部署人工智能工具,最终利用人工智能应用。海量数据集需要大容量存储。如果以前数据没有存下来,那么现在必须采取行动。
为什么AI需要数据?
IDC数据显示,2022年创建的企业数据中有84%可用于分析,但得到分析或应用到人工智能或机器学习算法中的仅有24%。这意味着公司未能利用大部分的可用数据。也就错失了商业价值。这就像电动汽车:如果电池没有充电,汽车无法带您到目的地。如果数据没有存储,即使是最智能的AI工具也无济于事。
随着众多公司着眼于训练人工智能模型,大容量存储将为原始数据和生成数据提供支持。企业将需要强有力的数据存储策略。他们可借助云来解决一些人工智能工作负载和存储,也可以在本地存储和处理一些数据。机械硬盘(约占公有云存储的90%)是专为海量数据集而生的经济高效、耐用可靠的解决方案,能够存储持续训练人工智能模型所需的大量数据。
保留原始数据是非常必要的,哪怕这些数据已经被处理过。比如人工智能创建的一些内容可能会产生知识产权纠纷,在行业调查或诉讼期间,当问到人工智能洞察的相关问题,便可以用存储的数据证明所有权以及结论的可靠性。
数据质量也会影响洞察的可靠性。为了确保更好的数据质量,企业应该使用包括数据预处理、数据标记、数据增强、监控数据质量指标、数据治理和主题专家评审等方法。
企业如何做好准备
如果保留数据的成本太高,企业会不得不删除数据。这是可以理解的,企业需要平衡成本与人工智能洞察需求的关系。
为了降低数据成本,领先的企业部署了云成本比较和估算工具。对于本地存储的企业来说,更应该考虑用硬盘构建可以优化TCO的存储系统。此外,企业都需要对监测的数据和工作负载模式进行优先级排序,并尽可能地实现工作流程的自动化。
全面的数据分类对于识别训练人工智能模型所需的数据至关重要。要确保敏感数据的处理是合规的,比如个人身份数据或财务数据等需具备非常强的数据安全性。许多企业对数据进行加密以确保安全性,但人工智能算法通常无法从加密数据中进行学习。所以企业还需要一个流程来安全地解密数据,以便进行培训,并且可以重新加密存储。
为了确保人工智能分析成功,企业应该:
1、养成存储更多数据的习惯,因为在人工智能时代,数据更有价值。保留原始数据及洞察,不限制可存储的数据量,但要限定哪些数据是可以删除的。
2、制定可以提高数据质量的工作流程。
3、降低数据存储成本。
4、实施稳健的数据分类和合规性。
5、确保数据安全。
不采取以上行动的话,最好的生成式AI模型也会毫无用处。
在生成式AI出现之前,数据就是开启创新的关键,最擅长管理多云存储的企业实现收入目标的可能性是同行的5.3倍。未来,生成式AI会显著拉大企业之间的创新差距。
当前,围绕生成式AI的讨论更多地集中在企业的创新潜力上。但企业领导很快就会意识到,数据存储及管理策略才是人工智能成功与否的关键因素。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。