【学习笔记】GPU 选型指南：A100/H100/4090/910B性价比分析（21/35）

前 20 篇我们走完了认知 → 训练 → 推理优化 → 部署服务化的完整软件链路。从这一篇开始进入工程实践篇第 21-25 篇把视角从软件转向硬件、运维、成本。第一站GPU 选型。这个话题对大模型团队特别敏感。原因很简单GPU 是大模型团队最大的单笔开支占总成本的 70-90%。对一家 AI 创业公司来说服务器折旧占成本 60-80%工程师工资占成本 10-30%其他剩下的零头GPU 买错、租错、用错——损失动辄百万级。这就是为什么这一篇虽然不写代码但极其重要。如果你做过相关工作下面这些问题应该不陌生A100 现在停产了怎么选替代8 张 4090 能不能替代 1 张 H100国产 910C 性能怎么样什么场景能用自购 vs 云租赁 vs 包年怎么算账二手 H100 能买吗水货坑大不大H200 / B200 / B300 怎么选读完本文你将能看懂主流 GPU 的关键参数算力、带宽、显存、互联算清「单位算力价格」与「TCO」按业务场景训练 / 推理 / 微调选对硬件决策自购 vs 租赁评估国产 GPU 的真实可用性我们开始。一、GPU 选型决策对工程师的真实影响1.1 几个真实的反面案例案例 1盲目追新某创业公司 2024 年初等 H200 等了半年错过了第一批客户。其实 8 卡 H100 完全够用。案例 2选错精度某团队为了省钱买了 8 张 4090结果发现训练 70B 微调跑不起来不支持 NVLink 互联TP 通信慢得离谱。案例 3忽视带宽某公司用 PCIe 互联的 H100 服务器部署 70B 模型时性能只有官方报告的 40%。案例 4低估推理需求某公司只买了训练用 GPU没规划推理集群上线时被迫紧急买 A10 卡价格涨了 30%。这些坑加起来每个都是几十万到几百万的损失。1.2 选型的核心维度GPU 选型要看5 个维度┌────────────────────────────────────────┐ │ 1. 算力 (TFLOPS) │ │ FP32 / FP16 / BF16 / FP8 / INT8 │ ├────────────────────────────────────────┤ │ 2. 显存 (GB) │ │ 容量 带宽 类型 (HBM3 / GDDR) │ ├────────────────────────────────────────┤ │ 3. 互联 (NVLink / PCIe / IB) │ │ 带宽决定能否做 TP │ ├────────────────────────────────────────┤ │ 4. 功耗 (W) │ │ 决定机房和供电要求 │ ├────────────────────────────────────────┤ │ 5. 价格 可获得性 │ │ 单价 渠道 周期 │ └────────────────────────────────────────┘下面我们用这 5 个维度看主流卡。二、NVIDIA 主流 GPU 全景2.1 数据中心卡A100 系列Ampere2020A100 40GB / 80GB经典之作2020-2023 训练主力算力312 TFLOPSFP16624 TFLOPS稀疏 BF16带宽1.55 / 2.0 TB/s互联NVLink 3600 GB/s功耗400W价格2026 中80G 二手约 ¥80K新机已停产当下地位仍然主力——大量企业在用性价比稳定H100 系列Hopper2022H100 80GB SXM / PCIe当下推理主力注SXM 的全称是 Socketed Multi-Chip Module是英伟达专为高性能计算和数据中心场景自研的高带宽插座式GPU接口标准也是H100这类旗舰数据中心GPU的“满血形态”。算力989 TFLOPSFP161979 TFLOPSFP8带宽3.35 TB/s互联NVLink 4900 GB/s功耗700W (SXM) / 350W (PCIe)价格2026 中单卡 SXM 约 ¥250KPCIe 约 ¥220K当下地位性价比最优——综合能力强供货稳定H200Hopper Refresh2024算力与 H100 相同989 TFLOPS FP16显存141 GB HBM3e比 H100 多 76%带宽4.8 TB/s提升 43%功耗700W价格约 ¥320K甜蜜场景长上下文部署1 张 H200 接近 2 张 H100KV Cache 维度B200Blackwell2024 末发布2025 量产算力2.25 PFLOPSFP169 PFLOPSFP4显存192 GB HBM3e带宽8 TB/s互联NVLink 51.8 TB/s功耗1000W价格2026 中单卡约 ¥450K整机 HGX B200 约 ¥4M甜蜜场景训练 推理双优FP4 推理性能爆表B300Blackwell Ultra2025 末算力比 B200 提升 50%1.5×显存288 GB价格约 ¥600K当下地位2026 中刚开始出货大部分团队还买不到GB200 NVL72整机柜方案72 张 B200 36 颗 Grace CPU整机柜统一编程模型单柜价格约 ¥30M甜蜜场景超大规模训练、671B MoE 模型2.2 消费级卡数据中心二线选项RTX 4090Ada2022算力83 TFLOPSFP16165 TFLOPSFP8显存24 GB GDDR6X带宽1 TB/s没有 NVLink——这是关键限制功耗450W价格2026 中¥13K涨过又跌过甜蜜场景个人开发、小模型微调、本地推理、DP 多副本死亡场景TP 大模型无 NVLinkRTX 5090Blackwell2025算力125 TFLOPSFP16250 TFLOPSFP8显存32 GB GDDR7带宽1.79 TB/s仍然没有 NVLink功耗575W价格2026 中¥18K比 4090 强 50%但仍是消费卡定位RTX 6000 Ada专业卡显存48 GB算力接近 4090有 NVLink Bridge仅 2 卡价格¥45K甜蜜场景工作站微调、小团队部署2.3 主流卡参数总览型号显存FP16 算力带宽互联功耗单价2026.05A100 80G80 GB312 T2.0 TB/sNVLink 3400W¥80K二手H100 SXM80 GB989 T3.35 TB/sNVLink 4700W¥250KH200141 GB989 T4.8 TB/sNVLink 4700W¥320KB200192 GB2250 T8.0 TB/sNVLink 51000W¥450KB300288 GB3375 T9.6 TB/sNVLink 51200W¥600KRTX 409024 GB83 T1.0 TB/s❌450W¥13KRTX 509032 GB125 T1.79 TB/s❌575W¥18KRTX 6000 Ada48 GB91 T0.96 TB/s双卡 NVLink300W¥45K三、国产 GPU从能用到好用国产 GPU 在 2024-2026 经历了快速发展2026 年已经是真正可生产的状态。3.1 华为昇腾 Ascend 系列910B2023算力FP16 约 320 TFLOPS稀疏后显存64 GB HBM2e带宽1.6 TB/s互联HCCS 392 GB/s类 NVLink价格约 ¥120K生态MindIE、CANN 软件栈当下地位央国企首选互联网公司补充910C2024-2025算力FP16 约 700 TFLOPS性能翻倍显存128 GB带宽3.0 TB/sHCCS 升级到 600 GB/s价格约 ¥220K甜蜜场景替代 H100 的国产首选910D2026 中预计进一步对标 H200 / B200 部分指标量产中3.2 其他国产卡厂商型号显存状态海光深算 DCU K100 AI64 GB量产价格 ~¥80K摩尔线程MTT S500064 GB兼容 CUDA 生态燧原邃思 T2064 GB商用寒武纪思元 590 / 69048 / 80 GB训练推理两用沐曦曦云 C50064 GB量产3.3 国产卡的真实可用性软件生态软件栈国产卡支持PyTorch多家通过移植层支持vLLM部分支持如 vLLM-Ascend 分支Transformers多数支持Triton部分支持国产 SOTA 模型Qwen、DeepSeek、GLM全面支持真实性能差距同等内存级别 vs H100指标910C / H100FP16 算力70%显存带宽90%互联带宽67%实际推理吞吐60-80%生态成熟度60%坦诚的判断910C能用但生态仍在追赶国产模型Qwen、DeepSeek在 910C 上跑得最稳海外模型Llama 4适配可能有坑央国企、政企、金融场景910C 是合理选择互联网创业公司仍以 H100 / H200 为主四、性能横评相同任务不同卡4.1 推理吞吐对比测试Llama-3-70B INT8prompt 2K生成 512batch16配置总吞吐 (tokens/s)单卡显存利用1 × H100 80G不够装OOM2 × A100 80G145075%2 × H100 80G280080%2 × H200 141G310050%1 × B200 192G380065%2 × 910C 128G230060%4 × RTX 4090无 NVLink88095%4 × RTX 5090无 NVLink140090%关键观察H100 是 A100 的 ~2× 吞吐B200 单卡 ≈ 2.5 × H100910C 约 H100 的 80%4090 多卡因没 NVLink 几乎不能 TP4.2 训练吞吐对比70B 模型预训练千 token / GPU / 秒卡tokens/s/GPUA100 80G1200H100 SXM2800H2002900IO 受益B2006500910C22004.3 单位算力价格每 TFLOPS 元)卡单价FP16 TFLOPS元/TFLOPSA100 80G二手80K312256H100 SXM250K989253⭐H200320K989323B200450K2250200⭐RTX 409013K83157⭐⭐RTX 509018K125144 ⭐⭐910C220K700314结论消费卡单位算力最便宜——但你买不到 NVLinkB200 在数据中心卡里最优——算力翻倍价格不到 2 倍H100 仍是综合最稳的选择——价格、生态、可获得性平衡4.4 TCO总拥有成本三年视角按 3 年折旧 电费 运维配置采购3 年电费运维TCO8 × H100 SXM¥2M¥250K¥150K¥2.4M8 × H200¥2.56M¥250K¥150K¥2.96M8 × B200¥3.6M¥360K¥150K¥4.11M但能力 ≈ 2× H1008 × 910C¥1.76M¥250K¥200K¥2.21M8 × RTX 4090 工作站¥104K ¥200K主机¥160K¥80K¥544K结论大规模商用H100 / H200 综合最优政企合规910C 性价比有竞争力个人 / 研究消费卡 妥协 TP五、按场景选型5.1 训练场景模型规模推荐配置 13B 微调1-2 × H100 或 4 × RTX 409030B 微调4-8 × H10070B 微调QLoRA1 × H10070B 微调全参8 × H100 起70B 预训练64 × H100 集群405B / 671B 预训练千卡 H100/B200 集群5.2 推理场景生产级按业务规模业务规模推荐小流量 ToCQPS 102 × H100 PCIe 即可中流量 ToB4-8 × H100 SXM大流量 ToCQPS 1000H100 × N 多副本 / 加 B200超大流量QPS 10000B200 TensorRT-LLM长上下文专用H200 / B200显存优势国企 / 政企910C5.3 微调场景按团队预算预算推荐方案 10 万云租赁 H100按小时10-50 万1 × H100 工作站 / 2 × RTX 6000 Ada50-200 万4-8 × H100 服务器200 万16 卡 H100 自有集群5.4 端侧 / 个人场景推荐Mac 用户M3 Max / M4 Max 64GBWindows 个人RTX 4090 / 5090移动 / 嵌入式端侧 SoC高通 8 Gen 4 / 苹果 A18 Pro笔记本高性能游戏本 RTX 4090 mobile六、租 vs 买决策框架6.1 自购 GPU 适合什么场景✓ 长期稳定业务 2 年 ✓ 数据合规要求高 ✓ 团队有运维能力 ✓ 一次性预算充足6.2 云租赁适合什么场景✓ 业务波动大活动期暴增 ✓ 短期试错 6 个月 ✓ 跨地域 / 跨可用区 ✓ 不想自建机房6.3 主流云 GPU 价格按小时国际厂商H100 SXMH100 PCIeA100AWS p5.48xlarge$98.328 卡--Azure ND H100 v5$98.328 卡--GCP a3-highgpu$88.508 卡--国内厂商H100 (¥/卡/小时)A100 (¥/卡/小时)阿里云~¥45~¥25腾讯云~¥42~¥23火山引擎~¥40~¥22华为云910C~¥30-第三方租赁平台更便宜平台H100 价格备注Lambda Labs$2.49/小时美国长期合约Vast.ai$1.50-3/小时全球质量参差RunPod$2.69/小时美国社区点评好国内 AutoDL~¥10/小时A100易用按秒计费6.4 决策公式自购回本周期回本月数 采购单价 / (月租费用 - 月电费 - 月维护) 举例1 张 H100单价 ¥250K 云租 ¥45/小时 × 24 × 30 ¥32.4K/月 自购电费 折旧 维护 ≈ ¥5K/月 回本250K / (32.4K - 5K) ≈ 9 个月结论使用率 50% 且周期 1 年自购更划算使用率 30% 或周期 6 月租云更划算混合模式基线自购 高峰云租最常见的工业实践6.5 二手 GPU 市场2026 年 H100 二手市场已经很活跃来源风险价格大厂淘汰中有保修但可能水卡8 折矿卡转售高功耗损耗6-7 折库存低9.5 折渠道 / 灰色极高可能锁卡6 折建议二手只在「成本极限敏感 风险可控」场景考虑必须有压力测试 退换条款大型集群尽量买全新带保修七、采购建议 下一篇预告7.1 2026 年中最实用的采购组合给不同团队的推荐创业团队 100 人开发2-4 × RTX 5090 工作站 微调 / 内测租云 H100 按需 生产1-2 套 8 卡 H100 服务器中型公司100-500 人研究 / 训练32-64 张 H100 自有集群 生产推理H100 / H200 多副本 端侧验证M3 Max Mac大厂训练大集群万卡 H100/B200 IB 推理H100 / H200 / B200 混部 长期B200 / B300 替换 GB200 NVL72央国企 / 政府合规优先910C / 海光 DCU 混合910C 部分 H100重要场景7.2 选型决策清单下单前必问的 8 个问题7.2.1 模型规模和精度决定显存7.2.2是单卡推理还是多卡 TP决定 NVLink 需求7.2.3上下文长度多少决定 KV Cache可能要 H2007.2.4训练还是推理为主决定带宽 vs 算力权重7.2.5团队有运维能力吗决定自购 vs 云7.2.6周期多长决定回本判断7.2.7数据合规要求决定能否上云7.2.8国产化要求决定 NVIDIA vs 910C7.3 不要踩的 6 个坑坑 1忽视互联症状买了 8 张 GPU 跑 TP性能只有官方报告 40%。对策买 SXM / NVLink 版本不要买 PCIe 强行 TP。坑 2显存不够选错代症状H100 80G 跑不动 1M 上下文 70B。对策长上下文优先 H200141G/ B200192G。坑 3忘了功耗症状8 张 H100 SXM 5.6kW机房供电 / 散热 / UPS 都要升级。对策提前算总功耗配套机房改造。坑 4消费卡跑生产症状4090 集群上线 ToC 业务三天烧坏 2 张。对策消费卡不适合 7×24 高负载生产环境用专业卡。坑 5低估软件成本症状910C 买回来发现 vLLM 不能直接跑。对策选型时把软件适配工时算入成本。坑 6忽视折旧节奏症状刚买的 H100半年后 H200 B200 上市价格腰斩。对策评估代际更替节奏重要场景用最新代。7.4 下一篇预告第 22 篇集群运维 - 监控、调度、容灾全攻略—— 你买了 / 租了 GPU 集群怎么把它稳定运转起来我们会讲清楚 GPU 监控、故障检测、训练 checkpoint 容错、推理服务高可用全套实践。之后是模型权重管理23 篇、显存优化24 篇、TCO 测算25 篇。八、结语硬件选型是大模型工程的「定盘星」读完本文你应该明白H100 / H200 是 2026 年的主力卡——B200 在追赶国产 910C 已经可用——尤其在政企场景消费卡不能做大规模 TP——4090 / 5090 无 NVLink 是硬伤使用率 50% 自购划算否则租云B200 单位算力性价比最优——但供货是问题选型决策 8 大问题 6 大坑要逐一排查参考文献GPU 选型指南A100 / H100 / 4090 / 910B 性价比分析