AI时代，服务器架构定制化与标准化之争拉开序幕！ 原创

2023年，什么最火？莫过于AI大模型！以及其带来的算力基础设施的革新！

比如，在刚刚结束的 AWS re:Invent 大会上，AWS 发布了升级的自研CPU Graviton4；

微软也发布了自研的专为云计算打造的定制芯片Microsoft Azure Cobalt 100 CPU；

更不用说英伟达推出的NVIDIA GH200 Grace Hopper 超级芯片；

当按需定制的芯片成为主流，是AI时代带来的变化！

今天从电商、视频、交互等互联网业务，到制造、金融、汽车、航天航空、能源、房住产业、服务、服装业、广告业、生物医学、教育等千行百业的业务发展已经完全与从最小的终端、移动设备，到网络边缘、数据中心的数字化和智能化解决方案相融合。

但是当应用从PC、移动互联到万物智能互联时代发展革新的时候，计算基础设施也要随之革新。计算基础设施通过定制化来满足各种应用对于专用计算和不同处理器的需求成为时代选择。

我们知道当前海量应用需求和AI爆炸式增长也给芯片集成带来了指数级增加，其芯片设计的复杂度大大增加，大部分芯片设计公司几乎很难独自完成芯片设计，同时如果从头全新开发设计一款芯片，在今天这个技术开放的时代，在成本、试错等方面完全不可想象。

而芯片领域的IP是预先设计好、成熟的和经过验证的电路模块，通过IP授权，今天的芯片产品才能够更快地推向市场。

作为市场领先的 IP 提供商，Arm 近年来已转型为计算平台公司，在致力于 IP 授权业务的同时，也专注于通过完整且全面的解决方案，为合作伙伴带来选择的灵活性，帮助他们更快地将产品推向市场。一直以来，Arm为移动、基础设施、物联网，以及汽车领域推出对应的IP 产品和全面解决方案，合作伙伴能够把更多的时间和精力集中在开发创新的解决方案上，以提供更多的新产品和解决方案，来给最终用户带来全新体验。

近日，Arm 高级副总裁兼基础设施事业部总经理 Mohamed Awad在Arm Tech Symposia年度技术大会北京场分享了传统服务器架构瓶颈下，Arm的创新变化以及与中国合作伙伴的合作之路。

定制化需求已经下沉到计算基础设施

传统上按需定制都体现在应用层，如今随着AI的加速到来，在操作系统以及芯片层级，定制化和标准化相互结合成为趋势。

基础设施领域中，传统的系统架构

以传统的服务器系统架构为例，过去几十年，说起服务器架构，大家都耳熟能详，那就是在传统的服务器系统架构中，中间是一个通用的现成 CPU，有标准化的总线，还有几个连接到同一个 CPU 的不同加速器。

但在 AI 时代，这样的架构已经不够用了。

“人工智能 (AI) 正处于快速发展中，目前最大的挑战之一是内存带宽以及其能否为系统提供更好的支持。” Mohamed Awad分享到。

传统服务器架构由于无法获得足够的内存，它很难跟上 AI 应用所需的数据和计算量。而解决方案就是创新，要去研究如何构建一个新的系统架构，使我们能够跟上 AI 时代的步伐。只有通过灵活地调整和重新构建系统的各个方面，才能做到这一点。

为应对所面临的挑战，需要新的系统架构来实现更多的内存带宽和内存一致性，并且还要不断发展系统架构，以达到足够的灵活性，并让不同的想法蓬勃发展，进而找到实现 AI 的最佳途径。Arm 凭借其兼具灵活性和设计的独特模式，以及强大的生态系统，保持领先。

Arm展示的面向新的应用需求，面向下一代AI基础设施领域的一例现代化系统架构

Arm 生态系统的独特之处在于驱动定制芯片变革的能力。上图展示的是一种现代化的系统架构。通过定制 CPU，既利用了现代强大的软件生态系统，又是直接连接到每个加速器，在加速器和 CPU 之间建立高性能连接，并在整个设备间实现内存一致性。

“由于 Arm 独特的业务模式，我们能让合作伙伴可以创建定制化的 CPU，赋能创新。通过利用所有的投资和庞大的软件生态系统，合作伙伴可以快速地根据所需，打造出创新产品来解决各类新的问题，而这正是 AI 世界所需要的。” Mohamed Awad谈到。

如今Arm Neoverse平台已经实现了多项第一，包括第一款内存总带宽超过每秒 1TB 的 CPU、第一款单块裸片配置超过 100 个核心的 CPU、第一款引入 DDR5 与 PCIe Gen5 技术的 CPU，以及第一个在SPEC CPU 2017基准测试中打破500整型跑分的CPU。

定制化系统架构的强大能力

我们看到像阿里巴巴、AWS、微软这样的超大规模云服务商都开始自研芯片，核心目的并不是为了降低成本。他们最主要的目的就是为了能够把每一颗芯片的性能、效率都发挥到极致，做到最佳优化，他们会根据自己的用例、工作负载，围绕服务器、机架甚至是自己的数据中心来进行个性化定制。

Mohamed Awad 表示：“为了缓解未来基础设施的压力，行业需要依赖强大的软件生态系统，在高效、可扩展的多核计算基础上，打造专用处理的能力。为此，当下的基础设施建设已逐渐趋向定制化。我们赋予合作伙伴将有限的资源专注在关键差异化的能力，同时 Arm 也继续发挥所长——提供可扩展且高效的计算基础。”

Arm致力于IP 授权业务，也通过计算平台的产品形式为客户提供选择，希望能为合作伙伴带来更高的自由度，让他们选择最适合自身的方式进行产品开发。可以说Arm既可以为合作伙伴提供一个完整的解决方案，帮助他们快速地将产品推向市场，同时他们也可以选用个别的 Arm IP，这一切都可根据客户的需求自由选择。这也是 Arm 的独特之处。

“Arm 全面设计”助力实现灵活定制

为什么包括超大规模云服务商如亚马逊云服务 (AWS)、阿里巴巴都要做自己的 CPU 设计，而且都选择和 Arm 合作？“其实答案非常简单，通过和 Arm 合作，他们能够根据自己的用例和基础设施来打造并优化解决方案。” Mohamed Awad谈到。

在不久前的 AWS re:Invent 大会上，AWS 发布了第四代基于 Arm Neoverse 平台的处理器——Graviton4。该处理器专为基础设施领域设计。与 Graviton3 相比，Graviton4 的处理速度提高了 30%，核心数量增加了 50%，内存带宽增加了 75%。

如前文所述，英伟达希望借助 Arm 技术带来的灵活性，设计出他们所需要的芯片以进一步优化系统，同时能充分利用Arm强大的软件生态系统。 NVIDIA GH200 Grace Hopper 超级芯片采用 Arm Neoverse 搭配 NVIDIA GPU，满足 AI 性能的需求。在这样的架构当中，72 颗 Arm Neoverse 核心，加上来自 NVIDIA 的 GPU的组合，其AI 性能较基于x86架构的系统可提升 10 倍。

但并不是所有的合作伙伴都具备像AWS这样成熟的技术能力，一些合作伙伴可能需要Arm在技术上给予更多的支持，从而推动产品上市。为此，Arm推出了Arm Neoverse计算子系统 (CSS) 来进一步帮助客户加速部署基于Neoverse平台的系统。

Arm Neoverse CSS能够提供完整的子系统，合作伙伴可以直接采用，也可按需选用，帮助 Arm 生态系统通过更低的成本、更少的风险以及更短的时间，打造出专用芯片，并加速产品的上市进程。

在 Neoverse CSS 的基础之上，Arm推出了全面设计 (Arm Total Design) 生态项目，这样Arm 在芯片开发的各个阶段都引入了生态系统的关键专业知识，从而让基于 Arm Neoverse 的专用解决方案能够广泛地覆盖 AI、云、网络、边缘等各种基础设施领域。

Arm 进一步结合生态系统的力量，包括专用集成电路 (ASIC) 设计公司、IP 供应商、EDA 工具提供商、代工厂和固件开发厂商等，共同助力简化定制芯片的开发流程，并且让交付变得更加容易、便捷。Arm 全面设计目前也进一步提高了 Neoverse CSS生态系统中可供合作伙伴使用的可能性，能够帮助Arm的合作伙伴进一步加速他们的解决方案开发。

微软 Azure Cobalt 100

微软发布的定制芯片Cobalt 100 CPU，便是基于Neoverse CSS。“Arm Neoverse CSS 是一个集成的计算子系统，通过互联验证技术实现多个核心互联。例如，微软的做法是，他们基于 128 个核心互联基础，然后添加自己的加速功能。而 AWS 的 Graviton3 实际是修改了芯片的物理尺寸，这样他们就可以在一台服务器中放置三块芯片，而不仅仅是两块芯片。” Mohamed Awad谈到了合作伙伴产品的不同之处。

微软充分利用了 Neoverse CSS 和基于 Arm 平台的强大软件生态所带来的优势，有更多的时间专注于独特创新和优化，同时节省其大量的开发工作。

Arm 全面设计的推出意味着，ASIC 设计公司可以快速启动设计项目，并随时可将其设计方案提供给所需的客户；IP 供应商可以针对 Neoverse CSS，进行预先集成、预先验证和预先优化高级 IP；EDA 合作伙伴可以无缝支持最先进的工具和流程，以简化 SoC 设计；商业固件解决方案可早于芯片流片之前便开始开发；与此同时，Neoverse CSS 的设计将经过专门优化，充分发挥领先的工艺节点的优势。

“我们也得到了很多来自于合作伙伴的反馈，其中一个合作伙伴反馈说，通过使用 Neoverse CSS，节省了长达 80 人/年的工程师时间。与此同时，根据另外一个客户的反馈，通过使用我们的 Neoverse CSS，助力他们的项目从概念到流片仅耗时 13 个月。” Mohamed Awad分享到。

定制化给我国算力市场带来的机遇

如今中国已经是 Arm 非常重要的市场之一。中国合作伙伴基于 Arm 架构芯片的总出货量已累计达 300 亿颗。也就是说，仅中国市场的出货量来看，就能平均为地球上的每个人出货近四颗芯片。目前Arm在中国有近 400 家技术授权客户，这个数字每个月都在不断攀升。此外，Arm也一直通过与安谋科技合作以进一步助力本土合作伙伴。

过去一段时间，大家看到人工智能对于算力的需求提出新的需求。除了CPU、GPU的架构和技术创新，比如六部门联合印发的《算力基础设施高质量发展行动计划》首次把促进数据处理器（DPU）技术的研发与应用提到国家层面。中国本土的公司云豹智能，是一家专注于云计算和数据中心数据处理器芯片（DPU）和解决方案的领先半导体公司，就是携手 Arm 专注于领先DPU解决方案的设计。

联想则更多地是将基于Arm架构的解决方案部署到 5G 应用领域中。在网络云化方面，采用基于CPU+FPGA物理层加速卡设计的Arm服务器，结合电信级云原生平台+实时操作系统，实现了5G CU和DU通过容器化的方式部署在云平台上，实现了5G多功能一体机基站建设，为5G核心网提供可靠、安全、智能和轻量化的功能支持。

另外像鸿钧微电子以及遇贤微电子，这两家都是来自中国的本土初创企业，他们都基于 Arm 平台打造服务器 SoC 解决方案。“通过携手中国本土的强有力的合作伙伴，我们将在中国进一步地推动 Arm Neoverse 的发展。” Mohamed Awad最后分享到。