IBM x FUJIFILM磁带近线存储解决方案，助力OPPO冷数据存储项目实现降本增效 原创

OPPO作为至美科技的探索者，致力于打造万物互融时代的多智能终端及服务，为人们创造美好生活。根据国际手机行业的相关报道，OPPO仅2023年手机出货量就有一亿多部，是全球主要的智能手机供应商。目前ColorOS 已实现系统应用全覆盖，为 6 亿的全球用户创造自在无边界的使用体验。

随着音视频应用以及人工智能技术的爆炸式发展，OPPO云服务作为未来云化应用的承载主体，不仅包含了用户海量的数据，还包括自身的计算模型、算力训练等分析数据。如何服务好全球亿万用户，在积累使用用户的同时，保护用户数据的安全，是OPPO云的关注重点。 

分层存储成为数据管理的新选择

对于拥有海量数据的企业而言，采用一种存储介质来存储数据是不切实际的，这是因为当前存储介质在成本、容量、性能和耐久性等方面存在巨大的差异。经过多年的实践经验，目前存储厂商和用户联合推出了数据分层存储解决方案来解决用户的实际存储问题。

通过不同的存储介质以及云计算的分布式、可伸缩的管理来实现海量数据的随时存取。根据数据处理的频度，数据被分成三种：有些数据需要频繁读取，这就是热数据；很多数据只是记录下来很长一段时间才可能再去看，这叫冷数据；介于两者之间是温数据。

OPPO云计算部门负责人何小春讲道:“ OPPO作为手机行业的探索者，针对如何满足公司内部业务部门数据量的大幅年增长的情况，和手机用户的备份数据量的不断暴增的刚需背景下，我们从保护所有数据存储的安全性和降低存储成本两个方面进行综合考虑，经过研发团队对各种存储介质的特性进行分析和比较研究，在2023年决定在手机行业首先采用磁带存储系统，开始尝试来对海量大数据进行长期归档保存方案的导入布署。” 

何小春  OPPO云计算部门负责人

由于存量数据巨大，同时每天产生大量新的数据，而且数据量每年在大幅递增的情况下，为了更好的管理这些数据和安全保存好这些数据，我们需通过数据访问频率等手段，感知数据的温度，根据数据温度，OPPO云构建了5级存储资源池。

Tier0级存储资源池：满足当前热点高频数据的存储需求，Tier0级存储资源池通过加载热点数据到各个CDN数据中心的服务器内存中，能够快速响应用户的访问需求。

Tier1级存储资源池：通过结构化和非结构化技术，把数据存放在本地闪盘中，满足用户的正常访问需求。

Tier2级存储资源池：通过分布式技术和低成本大容量的传统磁盘技术，构建低成本、大容量的存储资源池，满足用户访问延时不明感的业务需求。

Tier3级存储资源池：通过传统的磁带技术和分布式存储技术的结合，构建基于磁带存储的海量存储资源池。Tier3级存储资源池提供大带宽写数据能力，低成本、低功耗、高空间数据密度，绿色数据中心等特点，能够实现分钟级别的数据访问需求。

针对数据的“温度”不同，企业需要提供不同的技术架构来满足数据服务的需求。而基于磁带介质的近线数据存储方案在降低存储成本的同时，又可以提供分钟级别的存储访问服务，能够有效的满足OPPO海量冷数据存储的需求。

海量数据增长带来的TCO压力

当前OPPO对象存储采用了分布式的架构，这是一种将数据以对象的形式存储在分布式存储集群中的技术，实现存储服务的高可用性、高可靠性和高扩展性。在这种模式下，数据被分成多个切片，加密后分散存储在多个节点上，通过跨AZ的副本及纠删码部署机制保障数据耐久性和服务可用性。同时可轻松实现集群容量的动态扩展和灵活管理，满足不同应用场景下的需求。

OPPO分布式对象HDD存储采用的经典的分布式对象架构，元数据服务器存储对象和切片的相关索引信息，HDD存储池中的服务器存放对象的切片信息。客户端通过S3协议从元数据服务器获取索引信息，再从切片存储服务器获取对象的具体数据。

由于OPPO拥有海量数据，分布式对象存储集群规模较大，每年要新购不少服务器来构建新的存储空间或者替换过保的服务器，整体上看，存储 TCO 有优化的空间。

冷数据存储需要磁带库解决方案

为降低对象存储的TCO，OPPO引入了磁带存储。磁带作为一种高密度、大容量的存储介质，具有长期稳定性和低成本的特点，适合用于存储大规模数据备份和归档场景。在分布式存储系统中，磁带是被用作冷数据存储的主要介质，将不经常访问的数据移至磁带存储中，以释放高性能存储资源。磁带介质的类型有两种，一种标准组织定义的 LTO类型，另一种是IBM独有的3592类型，驱动器类型也与之对应。

富士胶片（中国）投资有限公司记录媒体事业部部长 施泽民博士总结了磁带冷数据存储具备的优势：

成本效益：磁带存储具有较低的成本，适合用于存储大量冷数据。通过将冷数据存储于磁带中，可以节省昂贵的高性能存储资源，降低整体存储成本。据《现代磁带存储完善信息技术可持续发展-2022》^*1研究表明，对比硬盘和磁带归档十年以上的平均成本，假设需要对100PB信息进行10年的保存， 并对其存储介质的影响进行评估。与仅使用HDD磁盘的解决方案相比，如果将HDD磁盘上冷数据归档到磁带上，总拥有成本(TCO)降低78%。

可靠性：磁带存储具有较长的数据保持周期和较低的故障率，能够提供可靠的数据长期保存保障。在分布式存储系统中，将数据备份到磁带上可以增加数据的冗余性，提高数据的可靠性。

扩展性：分布式存储系统能够灵活地扩展存储容量和性能。通过将磁带存储集成到分布式存储架构中，可以轻松地扩展存储系统的容量，满足不断增长的数据存储需求。

绿色节能：根据《现代磁带存储完善信息技术可持续发展-2022》^*1，假设需要对100PB信息进行10年的保存，深层归档解决方案将100%的数据存储在硬盘上，十年内将产生2663吨的二氧化碳当量CO2e。而将所有数据存储在磁带上只产生了79吨的二氧化碳当量CO2e，同比减少了97%。根据碳排放与电度换算，相当于节能259万千瓦时(减排 0.997 千克CO2=1千瓦时电)。

施泽民博士  富士胶片（中国）投资有限公司记录媒体事业部部长

OPPO冷数据存储项目评估IBM磁带近线解决方案

OPPO冷数据存储项目采用的是IBM磁带近线存储方案，该方案基于IBM磁带库TS4500和3592企业级磁带介质。

侯淼  IBM中国总经理 大中华区科技事业部总经理

IBM中国总经理 大中华区科技事业部总经理 侯淼 谈道:“TS4500带库是IBM企业级磁带库，该带库可配置18个机柜，128个3592带机，17,550个3592类型磁带。如果配置20TB的JE类型3592磁带，整个带库可存储351PB的数据；如果配置50TB的JF类型3592磁带，整个带库可存储高达877.5PB的数据。

IBM企业级3592磁带介质采用IBM创新的磁头技术，和富士胶片公司利用在胶卷生产过程中积累的核心技术：纳米颗粒、纳米涂层和纳米分散的”黑科技”原创技术，拓展到数据流磁带存储介质上，使得3592磁带介质拥有更高的存储密度， JF存储介质高达50TB每盘。3592磁带数据存储更稳定可靠，满足数据中心环境下对于数据存储的要求。此外3592磁带的性能更好，尤其是小文件随机读取的效率方面更有优势。总的来说，3592磁带介质对比其他类型介质具有低成本、低能耗、高安全、高可靠、大容量、节能环保等六大可持续发展优势。”

联合研究面向分布式的磁带存储架构

饶有清  IBM超大规模系统解决方案首席构架师

以何小春，唐虎，侯京鹏, 吴火城等为主的OPPO技术研发和构架团队，和IBM超大规模系统解决方案销售经理梁晓和饶有清首席构架师，在 OPPO冷数据存储项目整合了OPPO对象存储和IBM磁带近线存储技术，构建了一个端到端的分布式磁带存储架构。温热数据存储在HDD的磁盘存储池中，冷数据存储在由磁带构建的磁带存储池中。通过洞察数据的温度来调度数据，如果数据足够冷，系统调度数据归档到磁带中去；如果有业务访问的需求，系统可以通过召回功能把数据从磁带上召回，满足业务分钟级对数据访问的需求。OPPO磁带冷数据存储池通过纠删技术，在提高磁带空间的利用率的前提下，实现了磁带存储数据的高可靠性和高可用性。

OPPO冷数据存储架构图

实际使用后用户体验

通过对分布式磁带存储系统的使用监控来看，单节点磁带平均性能440MB/s，缓存文件系统的读写性能1GB/s左右，本地缓存文件系统使用率保存70%以内，该性能很好的满足了OPPO冷数据归档的要求。 

OPPO云监控平台拥有足够的异构性，兼容磁带。磁带机、机械臂整体的健康状态监控，对异常部分能快速发现并输出对应的日志信息用于排障，满足运维要求。

目前对象存储冷数据归档存储已经上线大半年，系统稳定运行，并在项目建设过程中发现并改进了切片数据节点和纠删数据节点的文件大小一样，但是带机压缩后的磁带占用空间不一致的问题，实现了更好的空间分配。

通过项目实践经验，基于OPPO对象存储、IBM Spectrum Scale/Archive EE、IBM TS4500带库和富士胶片企业级磁带近线存储技术，可以实现了磁盘存储和磁带存储的有机整合，提供了企业层面的统一对象命名空间管理，达到数据在不同存储资源池之间无缝流转的目的。磁带近线存储系统提高了IT对业务的支持力度，满足了业务的低成本存储需求。相比传统的分布式磁盘存储，磁带近线存储系统有低成本、低功耗、高空间数据密度，绿色数据中心等特点，一定程度降低了企业对低频数据归档数据的存储成本。

展望未来，OPPO将继续探索海量冷数据的长久安全的保存技术，预计今后将有百PB级海量冷数据将陆续投放到磁带存储介质上，降低数据存储成本及数据中心的能耗，为各类业务提供更经济，更安全，更可靠的数据存储解决方案。

英文版阅读请点击