今天在微博上看到一则消息,新浪微博平台技术专家@唐福林发了一条微博:“这就是传说中的“邮寄硬盘”传输数据大法吧,想传大量数据到AWS S3?Amazon给你寄一个带50T硬盘的机器,拷完了后再给寄回来就行!”
我以为是开玩笑,看原文原来是真的。AWS认为“硬盘驱动器速度比互联网连接的速度会越来越快。”,用户想把数据传输到云上,如果数据量足够大,采用硬盘导入导出数据的方式优势大于互联网传输的方式。
AWS 推出新的数据传输模式Import/Export Snowball ,(为什么叫snowball?),帮助用户把数据放到AWS的数据中心里面。
AWS 认为新模式是更快,更清洁,更简单,更高效,更安全。您不必购买存储设备或升级网络。
Snowball是专为需要移动大量的数据(一般为10TB以上),从下图可以看到,其操作非常简便。第一步,从AWS上申请,第二步,AWS通过快递邮寄一个或多个Snowball ,第三步,拷贝数据,第四步快递给AWS。第五步,Snowball在拷贝到数据中心上云。
AWS介绍说Snowball设备是专为高效的数据存储和传输。这个玩意很坚固,足以承受6G的颠簸,重50磅可以让一个人携带。很安全,防篡改,数据将是256位加密的 主机上,并在设备上以加密的形式存储。
在笔者看来这只能是数据传输过程中的一种过渡模式,因为最大的漏洞就是物理运输过程会出现各种情况,物理的损坏和 丢失等都会造成更多的麻烦。
当然最大的优势就是价格合理。如果数据量足够大,快递费用会远远大于数据使用费。
这里很详细的介绍了具体是如何操作的。感兴趣的网友在这里了解。附上原文链接https://aws.amazon.com/cn/blogs/aws/aws-importexport-snowball-transfer-1-petabyte-per-week-using-amazon-owned-storage-appliances/
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。