科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网存储频道读图时代,图片容量大、传输难、打开慢怎么办?

读图时代,图片容量大、传输难、打开慢怎么办?

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

当前世界已进入"读图"时代,图片数据占用了互联网数据中心巨大的存储资源,为此谷歌推出压缩比更高的WebP图像格式,但由于算法更复杂,WebP图像的转码时间更长。

来源:至顶网存储频道 2017年8月24日

关键字:图像压缩 FPGA加速方案 浪潮

当前世界已进入"读图"时代,图片数据占用了互联网数据中心巨大的存储资源,为此谷歌推出压缩比更高的WebP图像格式,但由于算法更复杂,WebP图像的转码时间更长。浪潮推出了WebP图像有损压缩FPGA异构加速方案,能够实现JPEG-WebP图片格式的快速转换,相比传统方案转换效率最高能提升14倍,能够支撑更高并发密度的图片实时检索、传输等任务。

这是一个"读图"的时代

随着移动互联网的发展,图片正在成为日常资讯中重要的组成部分,从一定程度上来讲我们已经进入了"读图"时代。根据研究表明,全球设备产生的互联网数据规模在2019年预计达到每月24.3EB,其中,60%的数据流量来源于图片。"读图时代"尤其是"大图时代",这么多高质量的图片存在哪?存储成本急剧上升怎么解?

用计算能力"换取"存储空间

目前,互联网主流的图片格式包括JPEG、GIF等,但是由于压缩比小,导致图片数据存储占用了过多的服务器存储资源。

读图时代,图片容量大、传输难、打开慢怎么办?

WebP格式能够大大缩小图片文件大小

为此,谷歌发布了新的图片有损压缩格式--WebP,能在保证图像质量的前提下,数据大小相比JPEG降低39.8%,相比PNG降低26%,相比GIF降低64%。使用WebP格式图片后页面平均传输时间减少33%,网页加载时间降低10%。

在国内,腾讯的新闻客户端、QQ空间等也开始尝试向WebP切换,流量峰值带宽可以降低9GB,图片的延时和数据下载延时降低100ms。但是WebP的应用落地仍存在门槛,因为WebP其实是需要用计算能力"换取"存储空间。

由于采用了更复杂的压缩算法,与JPEG相比,WebP格式图片的编解码过程都需要消耗更多的计算资源,导致处理效率低10倍甚至更多。并且,CPU在处理高并行任务时并不那么高效,因此研发出一种更高效的图片编解码加速硬件是WebP快速落地的关键。

FPGA加速压缩算法,整体性能可提升14倍

单一图片的编解码对于计算设备而言是一种小计算量任务,但是这种任务并发很多,同一时间要处理的图片的数量多。如果使用串行计算的CPU来处理,处理效率就会受限于时钟频率。

因此,浪潮采用并行计算能力强的计算平台FPGA来进行图片编解码,通过把高性能计算算法中固有的并行运算部分硬件化来实现应用加速。在处理大规模并发任务时,可以提供更多管道,也就是说可以同时并行执行大量的指令。因而通过合理的配置,FPGA可以同时执行大量的数据吞吐操作,在这种情况下,该设备相当于多个传统CPU在同时工作。

浪潮WebP图像压缩FPGA异构加速方案,基于浪潮研发的业界最高密度的FPGA卡-F10A。并针对图片数据的压缩任务,嵌入基于FPGA计算环境下的WebP编解码优化算法,通过充分利用硬件流水设计和任务级并行,大大提升WebP图像压缩编码算法的处理性能。

读图时代,图片容量大、传输难、打开慢怎么办?

浪潮实测数据显示FPGA方案相比传统方案效率提升14倍以上

根据浪潮实测,采用浪潮WebP图像压缩FPGA解决方案,与传统实现方式相比,在JPEG格式转WebP格式任务下,这一解决方案相比传统CPU方案,整体处理效率平均提高9.13倍左右,最高性能可比CPU提高14倍!这意味着,图片数据存储所需要的服务器数量减少近一半,且能够支撑更高并发密度的图片检索、传输等任务。

举个实测例子,输入1200张2048×1536分辨率的JPEG图片,使用双路Xeon E5-2690v3服务器来进行WebP格式转码,共需要33.4秒,每秒能够处理35张。而使用浪潮FPGA加速方案则只需要2.39秒,每秒能够处理502张,加速比达到14.37倍!

当今社会,图片已经成为互联网不可或缺的元素,在电子商务、即时通讯、图片搜索、生活服务、社交平台等领域,图片所占的比重也逐渐增大,图片存储和分发对于数据中心运营成本的压力也居高不下,采用浪潮WebP图像压缩FPGA方案,将能够有效提升WebP格式图片转码效率,进而提升网站、App的图片速度,降低后台存储所需硬件资源。

目前,浪潮已经在WebP图像压缩、Gzip数据压缩和残差网络-ResNet等方向推出了相应的FPGA解决方案,相比传统应用实现方式,浪潮FPGA方案具有极高的性能功耗比优势。后续,浪潮将继续深入研发基于FPGA的通用系统方案,包括深度学习、网络加速、存储优化等,并将方案推广到其它应用领域和客户。未来,CPU+FPGA或许将作为新的异构加速模式,被越来越多的数据中心、互联网深度学习等越来越多的应用领域采用。

综合评分:8.04 分
云能力:8.5 分
营业额:366.8亿人民币[2011]
云服务:浪潮云存储

查看更多 >>

邮件订阅

如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

重磅专题
最新文章