多孤岛大数据访问加速初创公司Alluxio去年与华为达成合作关系,最近又与Dell EMC就ECS产品签订了类似的协议。
Alluxio解决的问题是,很多单独的存储机制是针对需要被多个分析型应用访问的大规模非结构化数据。每种应用(Hadoop、Spark、Storm、samza等)需要自己安排访问每个数据源(AWS S3、HDFS、Ceph、Isilon、Gluster等)。
Alluxio提供了一个中央软件层,能够通过他们选择的接口让上述任何一种应用访问任何一种数据源。这样能够不费力地做到像NVMe驱动器为PCI协议闪存数据存储所做的那样,为上层系统软件提供标准接口。
除了提供统一访问的Alluxio之外,开源代码提供了内存缓存来加速数据访问,包括读和写。
Alluxio graphic
Dell EMC与Alluxio的合作涉及到Alluxio企业版(AEE)和Dell EMC的Elastic Cloud Storage(ECS)对象存储服务器用于大数据工作负载。ECS曾经的代号是Nile。Dell EMC和Alluxio宣称,他们给"客户提供了DAS存储的替代选择,提供ECS的优点同时还有Alluxio AEE软件的性能改进"。
Alluxio首席执行官李浩源表示,Alluxio能够让ECS用作网关或者存储组件:"Alluxio为Dell EMC ECS客户提供了能够使用任何计算框架在本地或者云中以内存速度访问单独存储系统的灵活性。"
对于潜在客户来说,将Dell EMC与Alluxio这个组合与Dell EMC的DSSD D5相对比是有道理的,后者也提供了对大数据的高速访问。两者之间在速度和成本上的对比是很有意思的。
对于Alluxio来说,就在几个月前刚刚与华为签约之后又和Dell EMC签约,这是个好消息,其他存储提供商可能也会接踵而至,比如HDS、HPE和NetApp。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。