戴尔科技副总裁董事长兼首席运营官Jeff Clarke在2024年戴尔科技世界大会上表示,如果说GPU是AI系统的大脑、网络是其心脏,那么存储就是AI的呼吸与脉搏。
苏姿丰表示,Zen 5核心是AMD公司有史以来设计出的性能最强、能效最高的核心,而且完全是从零开始打造而成。
作为八大科技巨头共同打造的、用于对抗英伟达的交换技术,让GPU巨头采用UALink当然有点荒谬。但谁知道呢,毕竟技术行业从来不缺少出人意料的故事。
在最初的兴奋,到2022年对元宇宙的失望,而现在情况又开始好转。这一变化是由于计算机设备制造商取得的进展。就好像我们即将获得“空间计算的iPhone”,它可以真正以我们可以触摸和感受的方式将这些数字世界带入生活。
Nvidia今天透露,已经收购了Run:ai,一家开发优化显卡集群性能软件的初创公司。
一些 GPU 厂商(不是只有 NVIDIA 一家这么做)将将多个 DDR 芯片堆叠之后与 GPU 封装到一起 (后文讲到 H100 时有图),这样每片 GPU 和它自己的显存交互时,就不用再去 PCIe 交换芯片绕一圈,速度最高可以提升一个量级。这种“高带宽内存”(High Bandwidth Memory)缩写就是 HBM。
曾几何时,或者说就在短短几年之前,数据中心芯片市场还是个资金门槛极高但却相对简单的市场。CPU战团主要有英特尔、AMD和Arm,GPU阵营则是英伟达、AMD和英特尔等厂商的舞台。尽管AI初创公司数量可观,但普遍并未在数据中心领域建立起真正的话语权。
维谛Vertiv(NYSE:VRT)作为关键基础设施和连续性解决方案的全球领导者,加入英伟达NVIDIA生态伙伴网络(NPN),并成为解决方案顾问合作伙伴。这一合作将维谛Vertiv丰富的专业知识以及全系列电力与制冷解决方案进行更广泛的应用和推广。
可以看到,单纯将Hopper替换为Blackwell并不是最好的答案。根据英伟达方面的解释,只有在配合一系列正确举措之后,推理性能提升至30倍、推理功耗降低至1/25的结果才有可能实现。
日前在圣何塞举行的2024年GPU技术大会上公布的英伟达“Blackwell”GPU,是这家计算引擎制造商推出的第七代、也是最令人印象深刻的数据中心级GPU。GPU计算浪潮始于2000年代中期,并随着2012年5月“Kepler”K10与K20加速器的推出而变得愈发清晰具体。
尽管AI芯片种类繁多,GPU因其适应性和强大的并行计算能力,仍是AI模型训练的主流硬件。英伟达在GPU领域的技术积累和生态建设使其处于领先地位,而国内GPU厂商虽在追赶,但仍存在差距。AI应用向云、边、端全维度发展,模型小型化技术成熟,数据传输需求增加,Chiplet技术降低设计复杂度和成本。
如果大家每天需要处理数百万亿次AI模型执行,并在生成式AI步入主流的背景下时刻准备将这样的负载规模再提升一、两个数量级,那GPU就是各位不可或缺的战略资源。Meta Platforms明显就是这样,他们正拿出大笔财务预算,想要用“钞能力”从英伟达手中夺取显卡产能。
智算中心的发展依托最新AI理论和计算架构,以AI大模型和算力技术为核心。GPU主导算力芯片市场,AI信创推动国产算力。AI分布式计算市场由算力芯片、内存和互联设备组成。ChatGPT推动GPU需求,SK海力士HBM3产量售罄。CoWoS封装技术集成HBM与处理器,台积电领先封装市场。AI算力需求推动高效电源技术发展,背面供电技术成为关键。
ChatGPT的火爆使生成式AI(AIGC)回归焦点,AIGC指利用AI技术生成内容,涵盖文本、图像、音频等领域。AIGC产业图谱V2.0展示了基础设施、算法模型、内容应用等生态布局。
Arm Neoverse数据中心计算路线图刚刚迎来一系列新鲜元素,遗憾的是数据中心级独立GPU加速器仍然缺席。
今天Nvidia公布了第四季度财务业绩,结果再次超出华尔街预期,使其股价在盘后交易中走高。
根据Groq官网的介绍,LPU是一种专为AI推理所设计的芯片。但要训练大模型,仍然需要购买GPU。
NVIDIA RTX 2000 Ada的推出为AI加速带来了高性价比的解决方案,展现了NVIDIA在推动技术进步和赋能未来工作方式方面的前瞻性。
要说当下最困难的挑战,就是如何为计算系统采购充足的英伟达“Hopper”H100 GPU。哪怕是作为供应商的英伟达自己,也只能在有限的配额之下谨慎规划、调拨给内部使用。