10月16日,在北京举行的2018 XDF赛灵思开发者大会上,浪潮联合赛灵思宣布推出全球首款集成HBM2高速缓存的FPGA AI加速卡F37X,可在不到75W典型应用功耗提供28.1TOPS的INT8计算性能和460GB/s的超高数据带宽,适合于机器学习推理、视频转码、图像识别、语音识别、自然语言处理、基因组测序分析、NFV、大数据分析查询等各类应用场景,实现高性能、高带宽、低延迟、低功耗的AI计算加速。
浪潮集团副总裁李金在2018 XDF赛灵思开发者大会发表主题演讲
F37X是浪潮专为AI极致性能设计的尖端FPGA加速卡,它采用Xilinx Virtex UltraScale+架构,提供285万个系统逻辑单元和9024个DSP单元,INT8计算性能达到了28.1TOPS,集成8GB HBM2高速缓存,带宽达460GB/s,相比单DDR4 DIMM提升20倍。当AI计算模型尺寸小于HBM2容量时,可全部预先载入高速缓存之中,消除了外部读写带来的数据传输延迟并提高处理速度,使AI计算完全放到片上成为可能。性能数据显示,浪潮F37X在AI图像识别实时推理场景,基于GoogLeNet深度学习网络模型,当BatchSize=1时性能高达8600 images/s,是CPU性能的40倍。F37X典型应用功耗仅为75瓦,性能功耗比高达375Gops/W。此外,F37X板载24GB DDR4内存及双端口100Gbps高速网络接口。F37X设计为全高半长PCI-E 3.0板卡,紧致的尺寸可使得单台AI服务器支持更多加速卡设备,从而提供极限计算与通信性能。
全球首款集成HBM2的FPGA AI加速卡F37X
F37X可支持C/C++、OpenCL和RTL三种主流的编程语言开发环境。相应SDx工具套件内含SDAccel?、Vivado?及SDK工具,应用已有的OpenCV、BLAS、Encoder、DNN、CNN等加速库,实现对主流深度学习框架如Caffe、TensorFlow、Torch、Theano等的支持,覆盖机器学习推理、视频图像处理、数据库分析、金融、安全等典型AI应用领域,提供强大的生态支持,具备更加出色的易编程性,可灵活快速开发和迁移不同的AI定制算法应用,在软件生产力上实现了质的飞跃。
浪潮集团副总裁李金表示:“AI正以前所未有的速度重构产业创新,AI算法将不断快速迭代,线上推理将成为AI计算的主要场景。浪潮一直致力创新FPGA软硬件技术,帮助客户持续获得领先的AI计算竞争力。浪潮F37X加速卡将为全球用户提供快速可定制、实时高性能、高密低功耗的先进的FPGA解决方案,加速AI应用的线上部署。”
赛灵思公司数据中心销售副总裁Freddy Engineer表示:“浪潮因产品执行和创新而享誉全球。浪潮将为客户提供搭载Xilinx加速卡的服务器,我们为此而自豪。我们非常高兴能成为浪潮的开发合作伙伴,联合推出突破性产品F37X,它通过HBM2提供前所未有的内存带宽,将加速数据分析、AI和需要最低延迟数据访问的工作负载。”
浪潮是全球领先的AI计算力厂商,从计算平台、管理套件、框架优化、应用加速等四个层次致力于打造敏捷、高效、优化的AI基础设施。浪潮帮助AI客户在语音、图像、视频、搜索、网络等方面取得数量级的应用性能提升。据IDC《2017年中国AI基础架构市场调查报告》显示,浪潮AI服务器市场份额达57%高居第一。
好文章,需要你的鼓励
Lumen Technologies对美国网络的数据中心和云连接进行重大升级,在16个高连接城市的70多个第三方数据中心提供高达400Gbps以太网和IP服务。该光纤网络支持客户按需开通服务,几分钟内完成带宽配置,最高可扩展至400Gbps且按使用量付费。升级后的网络能够轻松连接数据中心和云接入点,扩展企业应用,并应对AI和数据密集型需求波动。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
RtBrick研究警告,运营商面临AI和流媒体服务带宽需求"压倒性"风险。调查显示87%运营商预期客户将要求更高宽带速度,但81%承认现有架构无法应对下一波AI和流媒体流量。84%反映客户期望已超越网络能力。尽管91%愿意投资分解式网络,95%计划五年内部署,但仅2%正在实施。主要障碍包括领导层缺乏决策支持、运营转型复杂性和专业技能短缺。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。