Gartner在2014年提出了"双模式IT"的组织模型开始,人们意识到如果能够把传统IT架构的扩展性、效率、安全和精确度的优势与强调速度和灵活性的互联网IT架构的这些优点结合起来,就能更好的满足云计算大数据时代企业对于数据的深度需求。而开源技术的出现和发展催化了传统IT与敏捷IT的真正融合。进而帮助企业更好的面对数字化转型与云计算应用的挑战。
作为IT系统的重要组成部分存储系统也面临着从封闭、纵向的架构转向开放、横向、软件定义的架构。人们意识到软件定义存储时代的到来,而开源存储软件的出现将大大加速企业向软件定义存储方向进化。近日在红帽和ZD至顶网共同举办2016中国开源企业存储峰会上,红帽亚太区存储业务总监Chris Mawer与红帽亚太区云存储与大数据业务总监Andrew Hatfield在峰会上分别做了主题演讲,同时会后接收了媒体的采访,结合存储开源软件Ceph与数据管理平台Gluster的优势分析了开源存储的未来发展趋势。
红帽Ceph Storage正在崛起
红帽亚太区云存储与大数据业务总监Andrew Hatfield表示"红帽提供分布式的企业存储,已经在生产环境经过大规模的验证。用户可以按照自己的需求进行对象存储和文件存储等扩展服务。Ceph技术架构正在崛起,Ceph可以让技术架构更透明,从而通过可视化的方式实现对企业数据中心的管理与监控。"

同时,Ceph适用于OpenStack的全面、深入集成的存储,通过与模块化架构和组件深入集成,实现临时和永久存储,同时针对数据库即服务而优化,与红帽OpenStack平台绑定,适用于MySQL工作负载的处理。Andrew认为红帽Ceph Storage的业务优势最重要的就是开源,户能够选择供应商,不被专用技术锁定,否则,你就不可能实现软件定义存储或者软件定义数据中心的真正潜力。Ceph还拥有大型生态系统,受社区支持。还有就是成本更低,与传统NAS/SAN相比,尤其是PB级工作负载。例如,澳大利亚莫纳什大学通过使用Ceph技术,实现了75%的成本节省。最后是安全、可靠 ,红帽具有十年开发经验,经生产环境验证,企业用户首选,红帽提供支持和集成。
从技术角度看,Ceph具有全面扩展的能力,支持PB级数据,可以实现长运行时间,可靠且全面的分布式块设备,与云平台集成实现无单点故障。在管理方面通过自我管理和自愈减少维护工作量,同时通过在服务器和磁盘间动态分配数据而提高运行效率。
红帽Gluster存储作为一套跨越物理、虚拟及云资源的、针对商品硬件而设计的、开放的、软件定义的存储解决方案,把文件存储与一套可扩展的架构结合在一起,从而能够有效地存储和管理大规模半结构化和非结构化的数据,其中包括富媒体、备份映像和近线归档以及大数据。红帽Gluster基于GlusterFS,后者是一种开源、软件定义、可扩展的网络文件系统。
值得一提的是,红帽Gluster还提供原生容器存储能力,而且与红帽OpenShift容器平台相集成,能够让开发人员在红帽OpenShift容器平台上利用带有Kubernetes的控制界面来管理存储容器及应用容器。这有助于推动容器的普及,也意味着,他们可以为生产就绪的容器环境带来更高的效率和更低的成本。
Gluster的包括采用了纠删码、分层以及更安全的存储技术,纠删码可以让企业采用更少硬件存储更多数据,采用纠删码后端使用系统中其他地方存储的数据信息,以此重建已损坏或丢失的数据。纠删码消除了对RAID的需求,比复制方式所需的空间小得多。高性价比的分层策略,“热”和“冷”数据子集间的数据基于访问频率而自动分层。静默数据损坏的检测,检测因静默硬件故障导致的数据损坏,这会导致性能和完整性的下降。红帽Gluster Storage定期扫描数据并检测位衰减。采用SHA256算法和校验位。实时和静态端到端加密(无SED)。NFS-Ganesha在节点或网络故障时简化故障切换和回退。通过支持NFSv3和NFSv4客户端,NFS-Ganesha引入ACL,从而提供更高的安全性、Kerberos验证和动态导出管理。
在访谈中Chris多次表示,红帽Ceph Storage 从最初基于磁盘存储工作负荷的开发,到今天全闪存进行存储,红帽都有相关的代码来支持,这样就可以随着介质的变化而保持为用户实现很高的性能,很高的吞吐量和很低的延迟时间。包括目前推出的Red Hat Storage Ceph 2,很多功能包括文件系统CephFS,采用Cpeh存储集群存储数据来解决访问层的问题等等。说明开源存储在一直进化中,不断的适应全新的IT架构包括云环境、容器、Openstack等。
对于对OpenStack来说,目前已经实现瞬时启动一台或几百台虚拟机;通过Glance、Cinder、Nova间的无缝数据迁移而实现即时备份;在单个集群中提供分层I/O性能;多站点复制提供灾难恢复或存档能功能。
红帽的价值在负责开源代码的社区与使用这些代码的最终用户达到一个平衡。开发者设计系统,并且进行创新,但他们并不直接负责这些产品的维护和服务。而用户,关心的是得到可靠的系统,并且这个系统能够一直的运行,能够得到后续的服务;他们并不关心,这个代码是谁开发的,或这个代码具体内部是什么。红帽一方面就是要确保开发者开发软件,和他们所开发软件的质量;另一方面,我们要确保用户所获得的服务水平,比如说确保他们数据不丢失;同时还有一个作用就是作为一个纽带来,收集用户的反馈。比如客户最近有某一个具体的需求,或者是期望在这个产品上增加某个特定的功能,红帽会把这些需求,反馈到开源的社区里,社区里也会在这个需求反馈的基础上进行开发。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。