十倍性能提升 浪潮软件定义存储提升广电非编场景工作效率

在这个高清观剧的时代，很多省级电视台已经全面实现高清化，并逐步的向地市级电视台蔓延。高清化的蔓延对非线性编辑系统（简称“非编”）存储提出了更高的要求，也在考验着存储厂商的应变和扩展能力。针对非编应用，浪潮软件定义存储AS13000进行了技术优化，实现十几倍的性能提升。

十倍性能提升：浪潮非编存储优化技术解析

浪潮存储迎接非编存储挑战

据悉，广电非编的存储IO特征为恒定带宽和低延迟，并且目前电视台等领域的非编业务大都是基于文件接口，所以NAS（Network Attached Storage , 网络附属存储）就成为非编存储主要应用之一。其具备多台工作站共享素材库、协同编辑，平均分配存储空间和均衡传输速度，完整的数据资料保护，简单易用以及超高性价比等优势。

然而，非编对存储性能、带宽等方面的高要求也是业内人士的共识。首先，非编系统是对连续的视频流的编辑，所以对存储系统带宽的连续性、稳定性要求很高。另外，由于在进行非编修改、加工和保存时，多个工作站会同时访问业务数据，这就需要存储系统要具备足够好的并发能力。

非编系统，需要存储具有处理高并发数据的能力

针对非编系统高并发、高性能的需求特性，浪潮开发/优化了软件定义存储AS13000的 NAS 服务层的并发调度机制，实现其 NAS 服务层针对客户端、文件级别的并发控制。首先，系统通过多路视频负载均衡分配，实现了基于文件哈希的负载均衡分配机制，把多路视频IO均衡的分配到处理线程池。其次，系统实现了多线程IO队列每线程具备IO队列机制，可以把视频（文件）的IO请求在队列中有序处理。

浪潮软件定义存储AS13000

浪潮存储系统并发调度优化示意图

同时，针对高并发压力下数据处理容易卡顿，导致客户端重连的问题，系统通过流控过载恢复机制，实现了存储层压力降低后自动恢复机制，避免连接断开故障。此外，系统还增加了性能维测框架，以便于工作人员实时观测队列、负载、延迟等信息，为调试、优化提供帮助。

其一，IO/缓存双管齐下 浪潮SDS提供单路存储优化

在优化系统整体并发、负载能力的同时，浪潮还对软件定义存储AS13000单路存储的性能进行了深度优化。一方面，浪潮设计开发了存储接口层的缓存 QoS管理机制，实现文件级别的读写缓存控制，保证单路视频的性能。另一方面，通过系统缓存QoS，软件定义存储AS13000实现了读写分离的缓存池、动态内存配额管理、内存批量申请/回收等缓存管理机制，实现缓存的有效管理和调度。

其二，浪潮SDS提供低延迟高均衡IO控制优化

在存储IO接口控制方面，系统建立了文件级数据组织结构，实时拆分、汇总所有数据读写对象到各独立的文件IO队列，隔离IO干扰，实现视频文件识别与分流。同时，系统读写请求处理由原来的同步机制，改为异步机制，降低延迟。此外，针对视频行业的连续写入存储特点，系统对数据写入过程进行了优化删减，直接形成缓存对象，降低写入延迟。系统还建立了脏数据刷新机制，定时遍历刷新所有的视频路文件的脏数据，均衡写缓存占用。

针对非编存储行业文件大、连续读写、高并发等特点，浪潮对系统数据预读机制、算法也进行了改进。首先将系统原有的无限制预读机制改为额定速率预读机制，实现读性能恒定。其次，优化预读算法LRU，解决非编视频文件大、内存相对少造成的预读过度的情况（预读无效，超时释放），避免二次预读，保证所有文件的数据缓存。

其三，均分配少干扰 浪潮SDS提升缓存管理能力

在缓存管理方面，系统建立了视频文件级别、读写分离的缓存池机制。同时，通过动态内存配额管理机制，系统实现了对全局缓存动态的控制，以将缓存均衡分配给每路视频文件，做到每次IO实时计算和控制，屏蔽各路视频之间的性能干扰。此外，针对部分申请和释放频繁的数据结构，系统还建立了内存批量申请/回收机制，对这部分数据进行批量申请和回收管理，降低延迟。

优化之后，十倍性能提升

经过优化，浪潮软件定义存储AS13000在非编应用中的性能得到了大幅提升。实测数据表明，3台4U 36盘位AS13000组成的非编存储系统，在码流已经达到了高清所需的15MB/s，其恒定读写达到项目指标预期，部分极限读写性能甚至达到项目指标的两倍以上。

优化后实测数据与项目指标对比

浪潮工程师胡振表示：“通过对于广电非编业务需求的深度洞悉，以及存储技术的积淀与创新，使得浪潮能够对于软件定义存储AS13000进行卓有成效的优化，帮助电视台应对4K乃至8K时代对于非编存储的挑战。浪潮将继续植根于广电行业，针对广电业务的特殊需求对于存储产品进行持续优化，、满足视频采集、制作、渲染、分发等各个流程的需求，提供坚实的数据能力支撑。”