1. 从一张显卡到一座数据中心AI芯片到底在拼什么过去几年只要聊到AI算力话题几乎绕不开一个名字——NVIDIA。但如果你最近在关注这个领域会发现局面已经完全不同了Google的TPU已经迭代到第六代AMD用MI300系列正面切入训练市场Cerebras把整片晶圆做成了一颗芯片AWS自研的Trainium开始大规模部署Groq则用LPU在推理赛道上跑出了让人侧目的速度。这篇文章想做的事情很明确把这几家主流AI芯片玩家的架构思路、技术取舍、适用场景和背后的演进逻辑尽可能完整地拆开来讲。不管你是刚接触AI基础设施的开发者还是正在做算力选型的技术负责人或者只是对芯片架构感兴趣的技术爱好者我都希望你能从里面拿到对自己有用的东西。先说一个我自己的观察。很多人理解AI芯片习惯性地只看一个指标——算力TFLOPS。但实际上算力只是冰山一角。一颗AI芯片能不能真正跑出性能取决于计算单元、存储层次、互联带宽、软件栈这四个维度能不能协同工作。任何一环拖后腿标称算力都是纸面数字。这也是为什么同样一颗GPU在不同框架、不同模型、不同并行策略下实测性能能差出好几倍。所以这篇文章不会只罗列参数而是会重点讲清楚每家芯片的设计哲学是什么它为什么这么设计这种设计在什么场景下占优、什么场景下吃亏。这些才是选型和理解趋势时真正有价值的东西。2. NVIDIA从CUDA生态壁垒到Blackwell架构的演进逻辑2.1 为什么NVIDIA的护城河不只是硬件聊AI芯片绕不开NVIDIA但NVIDIA真正的壁垒从来不是单颗芯片的算力。它的核心优势在于CUDA生态——一套从2006年就开始积累的并行计算平台和编程模型。这意味着一个开发者学会了CUDA他写的代码可以在过去十几年的NVIDIA显卡上运行这种连续性带来的迁移成本优势是巨大的。我见过不少团队在评估其他芯片时第一轮技术验证都能跑通但到了把生产环境的模型完整迁移过去时就会遇到各种算子不支持、精度对不齐、调试工具缺失的问题。这不是说其他芯片不好而是CUDA生态的成熟度确实领先了太多。cuDNN、TensorRT、NCCL这些库加上Nsight这套调试工具链构成了一个完整的开发闭环。从架构角度看NVIDIA的GPU走的是**SIMT单指令多线程**路线。以H100为例它包含132个SM流式多处理器每个SM里有128个FP32 CUDA核心还有专门的Tensor Core负责矩阵运算。这种设计的精髓在于用大量相对简单的计算核心配合层次化的存储寄存器、共享内存、L2缓存、HBM来吞吐海量的并行计算任务。2.2 Hopper到Blackwell架构升级的关键变化H100Hopper架构是这一轮AI训练的主力。它的几个关键设计值得单独说第四代Tensor Core支持FP8精度在Transformer类模型上能提供极高的吞吐。FP8这个精度选择很讲究——它比FP16省一半带宽和存储同时通过缩放因子scaling factor来保证精度损失可控。Transformer Engine这是Hopper的一个亮点它能动态地在FP8和FP16之间切换对每一层选择最合适的精度。实测下来在GPT类模型上能带来显著的训练加速。NVLink 4.0和NVSwitch单卡之间的互联带宽达到900GB/s这让多卡组成一个超级GPU成为可能。训练大模型时卡间通信往往是瓶颈NVLink的高带宽直接决定了扩展效率。到了Blackwell架构B200/GB200变化更激进。B200用上了双芯片dual-die设计两颗die通过高带宽接口连接对外表现为一颗GPU。FP4精度被引入进一步压低了推理成本。GB200则是把Grace CPU和Blackwell GPU通过NVLink-C2C紧耦合在一起形成一个超级芯片模组。这里有个我个人的判断Blackwell这一代NVIDIA的重心明显在往推理和部署倾斜。FP4精度的引入、GB200这种CPUGPU一体化设计都是为了降低大规模推理的TCO总拥有成本。训练市场的格局相对稳定但推理市场的量级要大得多NVIDIA显然看到了这一点。2.3 实际使用中的几个坑用NVIDIA的卡做训练有几个经验值得分享。第一显存带宽往往比算力更早成为瓶颈尤其是在batch size较大或者序列较长的时候。选卡时不要只看TFLOPSHBM的容量和带宽同样关键。第二多卡训练的扩展效率不是线性的8卡能跑到6倍左右的加速就算不错了通信开销是绕不过去的。第三驱动和CUDA版本的匹配问题非常折磨人生产环境一定要锁定版本不要轻易升级。3. Google TPU为Transformer而生的专用架构3.1 TPU的设计出发点把矩阵乘法做到极致Google做TPU的逻辑和NVIDIA完全不同。NVIDIA是通用GPU什么都能算TPU从一开始就是为神经网络设计的专用芯片ASIC。它的核心是一个叫**MXU矩阵乘法单元**的脉动阵列systolic array专门用来做矩阵乘加运算。脉动阵列这个设计很有意思。数据像流水一样在计算单元之间脉动传递每个单元做完一次乘加就把结果传给下一个不需要频繁访问内存。这种数据复用模式在矩阵乘法上效率极高而矩阵乘法恰恰是神经网络里占比最大的运算。TPUv4是当前大规模部署的主力一颗芯片包含两个TensorCore每个TensorCore有一个128x128的MXU。TPUv5e和TPUv5p是更新的版本v5p在训练性能上有明显提升。到了TPUv6TrilliumGoogle宣称在能效比上又有大幅改进。3.2 TPU的互联哲学光交换网络TPU最被低估的一个设计是它的互联方式。Google用**光路交换OCSOptical Circuit Switching**来连接TPU Pod里的成千上万颗芯片。传统的电交换网络在规模扩大时功耗和延迟都会急剧上升而光交换可以在保持低延迟的同时动态重构拓扑结构。这意味着什么意味着Google可以构建一个4096颗TPU组成的超级计算机芯片之间的通信带宽和延迟都保持在可控范围内。这种规模的紧耦合集群在训练超大模型时优势明显。不过TPU的短板也很清楚它基本只能在Google Cloud上用而且主要支持JAX和TensorFlow对PyTorch的支持虽然一直在改善但生态丰富度还是不如CUDA。如果你的团队重度依赖PyTorch生态和一些自定义算子迁移到TPU的成本需要认真评估。3.3 什么场景适合选TPU我的经验是TPU特别适合两类场景一是大规模、长时间的预训练任务尤其是模型结构比较标准的Transformer二是成本敏感的推理服务TPU的能效比在推理上确实有优势。但如果你的模型有大量自定义算子或者需要频繁调试底层TPU的灵活性就不如GPU了。4. AMDMI300系列的追赶与ROCm生态的现实4.1 MI300X的硬件规格与设计思路AMD在AI芯片上的主力是Instinct MI300系列。MI300X是一颗纯GPU而MI300A是CPUGPU的APU设计。从硬件规格看MI300X的HBM容量达到192GB比H100的80GB大了一倍多这个容量优势在大模型推理时非常实用——很多模型可以单卡放下省去了复杂的并行切分。AMD走的是**Chiplet小芯片**路线把多个计算die和HBM堆叠在一起。这种设计在制造成本和良率上有优势也让AMD能更灵活地组合不同规格的产品。从计算架构看MI300X的CUDA核心AMD叫Stream Processor数量很多FP16和FP8的算力标称值都不输H100。但实际性能表现很大程度上取决于软件栈的成熟度。4.2 ROCmAMD最大的变量ROCm是AMD对标CUDA的软件平台。坦白说前几年ROCm的成熟度确实差强人意算子覆盖不全、框架支持滞后、调试工具简陋。但最近一两年进步很快PyTorch对ROCm的支持已经相当可用主流模型基本都能跑起来。我实际测试下来的感受是标准模型跑通没问题但遇到冷门算子或者需要深度优化时还是容易卡住。另外ROCm的版本兼容性也是个坑不同版本的PyTorch、ROCm、驱动之间的匹配关系需要仔细核对。从趋势看AMD的机会在于性价比和供应链多元化。当NVIDIA的卡一卡难求时AMD提供了一个可用的替代方案。而且MI300X的大显存对推理场景确实友好很多团队用它来做推理部署成本比H100方案低不少。4.3 选AMD前要想清楚的事如果你在考虑AMD我建议先做三件事第一把你生产环境要用的所有模型和算子列出来逐个验证在ROCm上能不能跑第二评估团队的CUDA代码迁移成本HIPAMD的CUDA移植层能自动转换大部分代码但性能调优还是要人工介入第三确认你的云服务商或者供应商能提供足够的技术支持。5. Cerebras把整片晶圆做成一颗芯片的极端路线5.1 WSE的设计为什么要把晶圆做成芯片Cerebras的做法在所有玩家里面最激进——它直接把整片300mm晶圆做成一颗芯片叫WSEWafer Scale Engine。最新的WSE-3有超过4万亿个晶体管90万个计算核心44GB的片上SRAM。为什么要这么做核心逻辑是消除芯片间的通信瓶颈。传统方案里大模型要切分到几千颗GPU上卡间通信成了主要开销。而Cerebras把海量计算核心和存储放在同一片硅上片内通信带宽极高、延迟极低模型不需要切分就能放下。这个设计在训练超大模型时有独特优势。Cerebras宣称在GPT类模型上能做到接近线性的扩展效率因为几乎没有跨芯片通信。而且它的片上SRAM带宽极高数据不用频繁搬运到外部HBM能效比很好。5.2 晶圆级芯片的现实挑战但这条路线的挑战也很明显。首先是制造难度整片晶圆不能有任何致命缺陷Cerebras用了冗余核心设计来绕过缺陷但良率和成本压力始终存在。其次是散热一整片晶圆的热密度极高需要专门的冷却方案。第三是生态Cerebras有自己的软件栈但开发者社区规模远不如CUDA。从应用场景看Cerebras更适合超大规模模型的训练和对延迟极度敏感的推理。它的CS-3系统在分子动力学、气象模拟等科学计算领域也有应用。但对大多数团队来说这种方案的获取门槛和成本都比较高。6. AWS Trainium与Groq两条截然不同的推理优化路线6.1 Trainium云厂商自研芯片的典型样本AWS做Trainium的逻辑很清晰降低自家云上AI负载的成本。Trainium是AWS的第二代训练芯片配套的Inferentia则专注推理。它们的特点是深度集成到AWS的基础设施里通过Neuron SDK对外提供服务。Trainium的架构没有太多公开细节但从使用角度看它的优势在于和AWS生态的无缝集成。如果你本来就在AWS上跑业务用Trainium能省去很多集成工作而且成本比用GPU实例低。缺点是灵活性受限你基本被锁定在AWS的框架和工具链里。这类自研芯片的趋势值得关注云厂商越来越倾向于用自己的芯片承载内部和客户的AI负载因为这能同时降低成本和减少对外部供应商的依赖。Google有TPUAWS有Trainium微软和Meta也都在自研。6.2 GroqLPU在推理速度上的极致追求Groq的LPULanguage Processing Unit是另一个极端。它放弃了HBM改用片上SRAM来存储模型权重和中间结果目的就是追求极致的推理速度和确定性延迟。LPU的设计哲学是确定性——每个时钟周期做什么都是预先确定的没有动态调度带来的抖动。这让它在推理时的延迟非常稳定吞吐也很高。实测中Groq在运行大语言模型时能跑到每秒几百甚至上千token的生成速度比GPU方案快很多。但代价是容量受限。片上SRAM装不下太大的模型所以Groq需要把模型切分到多颗LPU上而且主要适合推理而非训练。它的定位很明确对推理延迟和吞吐极度敏感的场景比如实时对话、在线服务。6.3 两条路线的对比把Trainium和Groq放在一起看能看出AI芯片领域的一个核心分歧是追求通用性和生态还是追求特定场景的极致性能。Trainium走的是前者依托AWS生态做通用承载Groq走的是后者用专用架构换推理速度。维度AWS TrainiumGroq LPU核心定位云端训练/推理极致推理速度存储方案HBM片上SRAM生态依赖AWS Neuron SDK自有编译栈适用场景AWS上的通用AI负载低延迟推理服务主要限制生态锁定模型容量受限7. 架构对比几条技术路线的本质分歧7.1 通用vs专用没有最优只有最合适把上面这些芯片放在一起最本质的分歧是通用性和专用性的取舍。NVIDIA的GPU最通用什么都能算代价是能效比不如专用芯片TPU、Trainium、Groq都在不同程度上做了专用化在特定任务上效率更高但灵活性下降。这个取舍没有标准答案。如果你的业务模型多样、迭代快通用性更重要如果模型结构稳定、量大专用芯片的能效优势就能体现出来。7.2 存储层次SRAM、HBM与片外内存的博弈存储是AI芯片设计里最关键的维度之一。当前主要有三种选择HBM容量大、带宽高但成本高、功耗大是GPU和TPU的主流选择。片上SRAM带宽极高、延迟极低、能效好但容量有限Cerebras和Groq押注这条路线。片外DRAM容量最大、成本最低但带宽和延迟都差一般作为补充。不同芯片的存储策略直接决定了它能跑多大的模型、跑多快。Cerebras用44GB SRAMGroq用几百MB级别的SRAM而MI300X用192GB HBM。这个差异背后是完全不同的应用定位。7.3 互联决定集群规模的天花板单颗芯片再强也架不住大模型的规模。所以芯片间互联成了决定集群能力的关键。NVIDIA用NVLinkNVSwitchGoogle用光交换AMD用Infinity Fabric各家方案不同但目标一致在扩大规模的同时保持通信效率。这里有个经验互联带宽往往比单卡算力更能决定实际训练效率。一个互联带宽充足的集群扩展效率能到80%以上互联拉胯的集群可能一半算力都浪费在等通信上。8. 趋势判断与选型建议接下来几年怎么走8.1 推理市场会成为主战场我个人的判断是未来几年AI芯片的竞争重心会从训练转向推理。原因很简单训练是一次性的投入推理是持续性的开销。当模型规模稳定下来推理的算力需求会远超训练。这个趋势已经在发生NVIDIA在Blackwell上强调FP4和推理优化Groq专注推理速度各大云厂商的自研芯片也都在推理上发力。对做选型的人来说推理的TCO总拥有成本会越来越重要。8.2 软件生态仍是决定性因素硬件参数可以追赶但软件生态的差距很难短期抹平。CUDA积累了近二十年ROCm、Neuron、TPU的软件栈都还在追赶。所以选型时软件成熟度应该和硬件性能同等重要。我的建议是不要只看benchmark一定要用你自己的模型和负载做实测。很多芯片在标准测试上表现很好但一到真实场景就露馅。8.3 一个实用的选型框架最后分享一个我在实际工作中用的选型思路分四步明确负载特征是训练还是推理模型结构是否标准对延迟敏感还是对吞吐敏感评估生态匹配团队的技术栈是什么迁移成本有多大供应商支持是否到位算清总成本不只看芯片价格还要算上电力、散热、运维、迁移和人力成本。小规模验证先小批量部署用真实负载跑一段时间再决定是否扩大。这套框架不复杂但能帮你避开很多参数好看、用起来难受的坑。AI芯片这个领域变化很快保持对新技术路线的关注同时对自己的实际需求有清醒认识比追任何一个热点都重要。 AI芯片架构深度对比：NVIDIA、TPU、AMD、Cerebras、Groq技术路线与选型指南
1. 从一张显卡到一座数据中心AI芯片到底在拼什么过去几年只要聊到AI算力话题几乎绕不开一个名字——NVIDIA。但如果你最近在关注这个领域会发现局面已经完全不同了Google的TPU已经迭代到第六代AMD用MI300系列正面切入训练市场Cerebras把整片晶圆做成了一颗芯片AWS自研的Trainium开始大规模部署Groq则用LPU在推理赛道上跑出了让人侧目的速度。这篇文章想做的事情很明确把这几家主流AI芯片玩家的架构思路、技术取舍、适用场景和背后的演进逻辑尽可能完整地拆开来讲。不管你是刚接触AI基础设施的开发者还是正在做算力选型的技术负责人或者只是对芯片架构感兴趣的技术爱好者我都希望你能从里面拿到对自己有用的东西。先说一个我自己的观察。很多人理解AI芯片习惯性地只看一个指标——算力TFLOPS。但实际上算力只是冰山一角。一颗AI芯片能不能真正跑出性能取决于计算单元、存储层次、互联带宽、软件栈这四个维度能不能协同工作。任何一环拖后腿标称算力都是纸面数字。这也是为什么同样一颗GPU在不同框架、不同模型、不同并行策略下实测性能能差出好几倍。所以这篇文章不会只罗列参数而是会重点讲清楚每家芯片的设计哲学是什么它为什么这么设计这种设计在什么场景下占优、什么场景下吃亏。这些才是选型和理解趋势时真正有价值的东西。2. NVIDIA从CUDA生态壁垒到Blackwell架构的演进逻辑2.1 为什么NVIDIA的护城河不只是硬件聊AI芯片绕不开NVIDIA但NVIDIA真正的壁垒从来不是单颗芯片的算力。它的核心优势在于CUDA生态——一套从2006年就开始积累的并行计算平台和编程模型。这意味着一个开发者学会了CUDA他写的代码可以在过去十几年的NVIDIA显卡上运行这种连续性带来的迁移成本优势是巨大的。我见过不少团队在评估其他芯片时第一轮技术验证都能跑通但到了把生产环境的模型完整迁移过去时就会遇到各种算子不支持、精度对不齐、调试工具缺失的问题。这不是说其他芯片不好而是CUDA生态的成熟度确实领先了太多。cuDNN、TensorRT、NCCL这些库加上Nsight这套调试工具链构成了一个完整的开发闭环。从架构角度看NVIDIA的GPU走的是**SIMT单指令多线程**路线。以H100为例它包含132个SM流式多处理器每个SM里有128个FP32 CUDA核心还有专门的Tensor Core负责矩阵运算。这种设计的精髓在于用大量相对简单的计算核心配合层次化的存储寄存器、共享内存、L2缓存、HBM来吞吐海量的并行计算任务。2.2 Hopper到Blackwell架构升级的关键变化H100Hopper架构是这一轮AI训练的主力。它的几个关键设计值得单独说第四代Tensor Core支持FP8精度在Transformer类模型上能提供极高的吞吐。FP8这个精度选择很讲究——它比FP16省一半带宽和存储同时通过缩放因子scaling factor来保证精度损失可控。Transformer Engine这是Hopper的一个亮点它能动态地在FP8和FP16之间切换对每一层选择最合适的精度。实测下来在GPT类模型上能带来显著的训练加速。NVLink 4.0和NVSwitch单卡之间的互联带宽达到900GB/s这让多卡组成一个超级GPU成为可能。训练大模型时卡间通信往往是瓶颈NVLink的高带宽直接决定了扩展效率。到了Blackwell架构B200/GB200变化更激进。B200用上了双芯片dual-die设计两颗die通过高带宽接口连接对外表现为一颗GPU。FP4精度被引入进一步压低了推理成本。GB200则是把Grace CPU和Blackwell GPU通过NVLink-C2C紧耦合在一起形成一个超级芯片模组。这里有个我个人的判断Blackwell这一代NVIDIA的重心明显在往推理和部署倾斜。FP4精度的引入、GB200这种CPUGPU一体化设计都是为了降低大规模推理的TCO总拥有成本。训练市场的格局相对稳定但推理市场的量级要大得多NVIDIA显然看到了这一点。2.3 实际使用中的几个坑用NVIDIA的卡做训练有几个经验值得分享。第一显存带宽往往比算力更早成为瓶颈尤其是在batch size较大或者序列较长的时候。选卡时不要只看TFLOPSHBM的容量和带宽同样关键。第二多卡训练的扩展效率不是线性的8卡能跑到6倍左右的加速就算不错了通信开销是绕不过去的。第三驱动和CUDA版本的匹配问题非常折磨人生产环境一定要锁定版本不要轻易升级。3. Google TPU为Transformer而生的专用架构3.1 TPU的设计出发点把矩阵乘法做到极致Google做TPU的逻辑和NVIDIA完全不同。NVIDIA是通用GPU什么都能算TPU从一开始就是为神经网络设计的专用芯片ASIC。它的核心是一个叫**MXU矩阵乘法单元**的脉动阵列systolic array专门用来做矩阵乘加运算。脉动阵列这个设计很有意思。数据像流水一样在计算单元之间脉动传递每个单元做完一次乘加就把结果传给下一个不需要频繁访问内存。这种数据复用模式在矩阵乘法上效率极高而矩阵乘法恰恰是神经网络里占比最大的运算。TPUv4是当前大规模部署的主力一颗芯片包含两个TensorCore每个TensorCore有一个128x128的MXU。TPUv5e和TPUv5p是更新的版本v5p在训练性能上有明显提升。到了TPUv6TrilliumGoogle宣称在能效比上又有大幅改进。3.2 TPU的互联哲学光交换网络TPU最被低估的一个设计是它的互联方式。Google用**光路交换OCSOptical Circuit Switching**来连接TPU Pod里的成千上万颗芯片。传统的电交换网络在规模扩大时功耗和延迟都会急剧上升而光交换可以在保持低延迟的同时动态重构拓扑结构。这意味着什么意味着Google可以构建一个4096颗TPU组成的超级计算机芯片之间的通信带宽和延迟都保持在可控范围内。这种规模的紧耦合集群在训练超大模型时优势明显。不过TPU的短板也很清楚它基本只能在Google Cloud上用而且主要支持JAX和TensorFlow对PyTorch的支持虽然一直在改善但生态丰富度还是不如CUDA。如果你的团队重度依赖PyTorch生态和一些自定义算子迁移到TPU的成本需要认真评估。3.3 什么场景适合选TPU我的经验是TPU特别适合两类场景一是大规模、长时间的预训练任务尤其是模型结构比较标准的Transformer二是成本敏感的推理服务TPU的能效比在推理上确实有优势。但如果你的模型有大量自定义算子或者需要频繁调试底层TPU的灵活性就不如GPU了。4. AMDMI300系列的追赶与ROCm生态的现实4.1 MI300X的硬件规格与设计思路AMD在AI芯片上的主力是Instinct MI300系列。MI300X是一颗纯GPU而MI300A是CPUGPU的APU设计。从硬件规格看MI300X的HBM容量达到192GB比H100的80GB大了一倍多这个容量优势在大模型推理时非常实用——很多模型可以单卡放下省去了复杂的并行切分。AMD走的是**Chiplet小芯片**路线把多个计算die和HBM堆叠在一起。这种设计在制造成本和良率上有优势也让AMD能更灵活地组合不同规格的产品。从计算架构看MI300X的CUDA核心AMD叫Stream Processor数量很多FP16和FP8的算力标称值都不输H100。但实际性能表现很大程度上取决于软件栈的成熟度。4.2 ROCmAMD最大的变量ROCm是AMD对标CUDA的软件平台。坦白说前几年ROCm的成熟度确实差强人意算子覆盖不全、框架支持滞后、调试工具简陋。但最近一两年进步很快PyTorch对ROCm的支持已经相当可用主流模型基本都能跑起来。我实际测试下来的感受是标准模型跑通没问题但遇到冷门算子或者需要深度优化时还是容易卡住。另外ROCm的版本兼容性也是个坑不同版本的PyTorch、ROCm、驱动之间的匹配关系需要仔细核对。从趋势看AMD的机会在于性价比和供应链多元化。当NVIDIA的卡一卡难求时AMD提供了一个可用的替代方案。而且MI300X的大显存对推理场景确实友好很多团队用它来做推理部署成本比H100方案低不少。4.3 选AMD前要想清楚的事如果你在考虑AMD我建议先做三件事第一把你生产环境要用的所有模型和算子列出来逐个验证在ROCm上能不能跑第二评估团队的CUDA代码迁移成本HIPAMD的CUDA移植层能自动转换大部分代码但性能调优还是要人工介入第三确认你的云服务商或者供应商能提供足够的技术支持。5. Cerebras把整片晶圆做成一颗芯片的极端路线5.1 WSE的设计为什么要把晶圆做成芯片Cerebras的做法在所有玩家里面最激进——它直接把整片300mm晶圆做成一颗芯片叫WSEWafer Scale Engine。最新的WSE-3有超过4万亿个晶体管90万个计算核心44GB的片上SRAM。为什么要这么做核心逻辑是消除芯片间的通信瓶颈。传统方案里大模型要切分到几千颗GPU上卡间通信成了主要开销。而Cerebras把海量计算核心和存储放在同一片硅上片内通信带宽极高、延迟极低模型不需要切分就能放下。这个设计在训练超大模型时有独特优势。Cerebras宣称在GPT类模型上能做到接近线性的扩展效率因为几乎没有跨芯片通信。而且它的片上SRAM带宽极高数据不用频繁搬运到外部HBM能效比很好。5.2 晶圆级芯片的现实挑战但这条路线的挑战也很明显。首先是制造难度整片晶圆不能有任何致命缺陷Cerebras用了冗余核心设计来绕过缺陷但良率和成本压力始终存在。其次是散热一整片晶圆的热密度极高需要专门的冷却方案。第三是生态Cerebras有自己的软件栈但开发者社区规模远不如CUDA。从应用场景看Cerebras更适合超大规模模型的训练和对延迟极度敏感的推理。它的CS-3系统在分子动力学、气象模拟等科学计算领域也有应用。但对大多数团队来说这种方案的获取门槛和成本都比较高。6. AWS Trainium与Groq两条截然不同的推理优化路线6.1 Trainium云厂商自研芯片的典型样本AWS做Trainium的逻辑很清晰降低自家云上AI负载的成本。Trainium是AWS的第二代训练芯片配套的Inferentia则专注推理。它们的特点是深度集成到AWS的基础设施里通过Neuron SDK对外提供服务。Trainium的架构没有太多公开细节但从使用角度看它的优势在于和AWS生态的无缝集成。如果你本来就在AWS上跑业务用Trainium能省去很多集成工作而且成本比用GPU实例低。缺点是灵活性受限你基本被锁定在AWS的框架和工具链里。这类自研芯片的趋势值得关注云厂商越来越倾向于用自己的芯片承载内部和客户的AI负载因为这能同时降低成本和减少对外部供应商的依赖。Google有TPUAWS有Trainium微软和Meta也都在自研。6.2 GroqLPU在推理速度上的极致追求Groq的LPULanguage Processing Unit是另一个极端。它放弃了HBM改用片上SRAM来存储模型权重和中间结果目的就是追求极致的推理速度和确定性延迟。LPU的设计哲学是确定性——每个时钟周期做什么都是预先确定的没有动态调度带来的抖动。这让它在推理时的延迟非常稳定吞吐也很高。实测中Groq在运行大语言模型时能跑到每秒几百甚至上千token的生成速度比GPU方案快很多。但代价是容量受限。片上SRAM装不下太大的模型所以Groq需要把模型切分到多颗LPU上而且主要适合推理而非训练。它的定位很明确对推理延迟和吞吐极度敏感的场景比如实时对话、在线服务。6.3 两条路线的对比把Trainium和Groq放在一起看能看出AI芯片领域的一个核心分歧是追求通用性和生态还是追求特定场景的极致性能。Trainium走的是前者依托AWS生态做通用承载Groq走的是后者用专用架构换推理速度。维度AWS TrainiumGroq LPU核心定位云端训练/推理极致推理速度存储方案HBM片上SRAM生态依赖AWS Neuron SDK自有编译栈适用场景AWS上的通用AI负载低延迟推理服务主要限制生态锁定模型容量受限7. 架构对比几条技术路线的本质分歧7.1 通用vs专用没有最优只有最合适把上面这些芯片放在一起最本质的分歧是通用性和专用性的取舍。NVIDIA的GPU最通用什么都能算代价是能效比不如专用芯片TPU、Trainium、Groq都在不同程度上做了专用化在特定任务上效率更高但灵活性下降。这个取舍没有标准答案。如果你的业务模型多样、迭代快通用性更重要如果模型结构稳定、量大专用芯片的能效优势就能体现出来。7.2 存储层次SRAM、HBM与片外内存的博弈存储是AI芯片设计里最关键的维度之一。当前主要有三种选择HBM容量大、带宽高但成本高、功耗大是GPU和TPU的主流选择。片上SRAM带宽极高、延迟极低、能效好但容量有限Cerebras和Groq押注这条路线。片外DRAM容量最大、成本最低但带宽和延迟都差一般作为补充。不同芯片的存储策略直接决定了它能跑多大的模型、跑多快。Cerebras用44GB SRAMGroq用几百MB级别的SRAM而MI300X用192GB HBM。这个差异背后是完全不同的应用定位。7.3 互联决定集群规模的天花板单颗芯片再强也架不住大模型的规模。所以芯片间互联成了决定集群能力的关键。NVIDIA用NVLinkNVSwitchGoogle用光交换AMD用Infinity Fabric各家方案不同但目标一致在扩大规模的同时保持通信效率。这里有个经验互联带宽往往比单卡算力更能决定实际训练效率。一个互联带宽充足的集群扩展效率能到80%以上互联拉胯的集群可能一半算力都浪费在等通信上。8. 趋势判断与选型建议接下来几年怎么走8.1 推理市场会成为主战场我个人的判断是未来几年AI芯片的竞争重心会从训练转向推理。原因很简单训练是一次性的投入推理是持续性的开销。当模型规模稳定下来推理的算力需求会远超训练。这个趋势已经在发生NVIDIA在Blackwell上强调FP4和推理优化Groq专注推理速度各大云厂商的自研芯片也都在推理上发力。对做选型的人来说推理的TCO总拥有成本会越来越重要。8.2 软件生态仍是决定性因素硬件参数可以追赶但软件生态的差距很难短期抹平。CUDA积累了近二十年ROCm、Neuron、TPU的软件栈都还在追赶。所以选型时软件成熟度应该和硬件性能同等重要。我的建议是不要只看benchmark一定要用你自己的模型和负载做实测。很多芯片在标准测试上表现很好但一到真实场景就露馅。8.3 一个实用的选型框架最后分享一个我在实际工作中用的选型思路分四步明确负载特征是训练还是推理模型结构是否标准对延迟敏感还是对吞吐敏感评估生态匹配团队的技术栈是什么迁移成本有多大供应商支持是否到位算清总成本不只看芯片价格还要算上电力、散热、运维、迁移和人力成本。小规模验证先小批量部署用真实负载跑一段时间再决定是否扩大。这套框架不复杂但能帮你避开很多参数好看、用起来难受的坑。AI芯片这个领域变化很快保持对新技术路线的关注同时对自己的实际需求有清醒认识比追任何一个热点都重要。