多孤岛大数据访问加速初创公司Alluxio去年与华为达成合作关系,最近又与Dell EMC就ECS产品签订了类似的协议。
Alluxio解决的问题是,很多单独的存储机制是针对需要被多个分析型应用访问的大规模非结构化数据。每种应用(Hadoop、Spark、Storm、samza等)需要自己安排访问每个数据源(AWS S3、HDFS、Ceph、Isilon、Gluster等)。
Alluxio提供了一个中央软件层,能够通过他们选择的接口让上述任何一种应用访问任何一种数据源。这样能够不费力地做到像NVMe驱动器为PCI协议闪存数据存储所做的那样,为上层系统软件提供标准接口。
除了提供统一访问的Alluxio之外,开源代码提供了内存缓存来加速数据访问,包括读和写。

Alluxio graphic
Dell EMC与Alluxio的合作涉及到Alluxio企业版(AEE)和Dell EMC的Elastic Cloud Storage(ECS)对象存储服务器用于大数据工作负载。ECS曾经的代号是Nile。Dell EMC和Alluxio宣称,他们给"客户提供了DAS存储的替代选择,提供ECS的优点同时还有Alluxio AEE软件的性能改进"。
Alluxio首席执行官李浩源表示,Alluxio能够让ECS用作网关或者存储组件:"Alluxio为Dell EMC ECS客户提供了能够使用任何计算框架在本地或者云中以内存速度访问单独存储系统的灵活性。"
对于潜在客户来说,将Dell EMC与Alluxio这个组合与Dell EMC的DSSD D5相对比是有道理的,后者也提供了对大数据的高速访问。两者之间在速度和成本上的对比是很有意思的。
对于Alluxio来说,就在几个月前刚刚与华为签约之后又和Dell EMC签约,这是个好消息,其他存储提供商可能也会接踵而至,比如HDS、HPE和NetApp。
好文章,需要你的鼓励
尽管芯片厂商不断推出性能更强的神经处理单元,声称比上代产品快30-40%,但大多数AI功能仍依赖云端处理。专家指出,云端AI模型拥有数千亿参数,而手机NPU只能处理约30亿参数的模型。本地AI处理虽然在隐私保护和可靠性方面具有优势,但受限于内存容量和处理能力,目前主要应用于特定场景。业界正致力于优化模型压缩技术,实现云端与本地AI的混合处理模式。
NVIDIA联合多所高校开发的SpaceTools系统通过双重交互强化学习方法,让AI学会协调使用多种视觉工具进行复杂空间推理。该系统在空间理解基准测试中达到最先进性能,并在真实机器人操作中实现86%成功率,代表了AI从单一功能向工具协调专家的重要转变,为未来更智能实用的AI助手奠定基础。
Hammerspace通过现有NVMe存储最大化GPU使用率。随着AI计算在混合云和多云环境中扩展,基础设施团队面临着加速洞察时间同时最大化GPU投资的压力。Hammerspace Tier 0将GPU服务器集群内的本地NVMe存储转换为超高速共享存储层,性能比传统网络存储提升10倍,减少检查点时间,提高GPU使用率,改善推理响应时间,无需额外存储系统,节省数百万美元成本。
这项研究解决了现代智能机器人面临的"行动不稳定"问题,开发出名为TACO的决策优化系统。该系统让机器人在执行任务前生成多个候选方案,然后通过伪计数估计器选择最可靠的行动,就像为机器人配备智能顾问。实验显示,真实环境中机器人成功率平均提升16%,且系统可即插即用无需重新训练,为机器人智能化发展提供了新思路。