DeepSeek-V4-Pro-MXFP4环境搭建完整指南ROCm 7.2 PyTorch 2.9 零基础避坑教程【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4本文是一份专为零基础用户准备的DeepSeek-V4-Pro-MXFP4环境搭建完整指南。DeepSeek-V4-Pro-MXFP4 是 AMD 官方基于 DeepSeek-V4-Pro 原始模型、使用 AMD Quark 量化工具压缩而来的 MoE 大语言模型将全部专家层权重与激活量化为 MXFP4 格式推理所需显存大幅下降而 GSM8K 精度仍能保持原模型的99.0%。本教程将手把手带你完成 ROCm 7.2 驱动安装、PyTorch 2.9 环境配置、模型下载与权重转换并给出 vLLM 与本地脚本两套推理方案让你在 AMD MI350 系列显卡上顺利跑通这个模型。一、DeepSeek-V4-Pro-MXFP4 是什么简单来说它是一款面向 AMD 数据中心显卡的 MXFP4 量化版 DeepSeek 模型。它有以下几个关键特征架构DeepseekV4ForCausalLM纯 MoE混合专家架构共61 层、384 个路由专家每次激活 6 个专家。量化方式使用 OCP MXFP4 标准权重静态量化、激活动态量化每个 32 元素块共享一个缩放因子。保留精度注意力层、路由 Gate、LayerNorm、Embedding、输出头及 MTP 模块保持原精度不动只量化专家投影因此精度损失极小。支持硬件AMD MI355 / MI350gfx950 架构对应软件栈为 ROCm 7.2.0 PyTorch 2.9.1。量化后的模型以 64 个 safetensors 分片文件存放在仓库中索引文件为model.safetensors.index.json权重加载由 HuggingFace Transformers5.13.1自动完成。二、环境搭建前必看软硬件要求清单开始前请先对照下表确认你的机器是否满足条件这是DeepSeek-V4-Pro-MXFP4环境搭建最容易踩坑的第一步项目最低要求备注GPUAMD MI355 / MI350gfx950其他架构不支持 MXFP4 算子操作系统Linux建议 Ubuntu 22.04 / 24.04驱动栈ROCm 7.2.0版本必须匹配过高过低都可能报算子错误PyTorch2.9.1 或更高需要支持 float4_e2m1fn 张量类型Transformers5.13.1需包含 deepseek_v4 模型代码显存建议 4×80GB 及以上官方推荐 tensor-parallel-size 4 提示inference/requirements.txt中还要求tilelang0.1.8与fast_hadamard_transform这两个是 FP4 高性能算子库缺一不可。三、第一步安装 ROCm 7.2 驱动环境ROCm 是 AMD 的 GPU 计算平台相当于 NVIDIA 的 CUDA。请务必使用7.2.0版本访问 AMD ROCm 官方安装文档选择与你 Linux 发行版匹配的仓库。执行安装命令安装rocm完整软件栈。安装完成后运行rocminfo确认能识别到 gfx950 设备。将 ROCm 的 bin 目录加入 PATH并配置LD_LIBRARY_PATH。避坑重点如果之前装过其他版本 ROCm务必先彻底卸载再重装ROCm 版本与驱动内核模块不匹配时rocminfo会报 No devices found这是最常见的问题之一。四、第二步安装 PyTorch 2.9 与推理依赖ROCm 装好后接下来配置 Python 环境。建议使用 conda 创建干净环境conda create -n dsv4 python3.11 -y conda activate dsv4 pip install torch2.9.1 --index-url https://download.pytorch.org/whl/rocm7.2 pip install transformers5.13.1 safetensors tilelang0.1.8 fast_hadamard_transform安装完成后可用下面一行代码快速验证 PyTorch 是否认到 AMD 显卡import torch print(torch.cuda.is_available(), torch.cuda.get_device_name(0))避坑重点PyTorch 的 ROCm 版本必须与 ROCm 7.2 对应即 rocm7.2 的 wheel否则会出现 no kernel image available 错误。五、第三步下载模型与仓库代码将仓库克隆到本地内含全部 64 个权重分片与推理代码git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4克隆完成后你会看到这些关键文件config.json模型结构配置61 层、384 专家、量化参数等model.safetensors.index.json权重分片索引model-00001-of-00064.safetensors~model-00064-of-00064.safetensors权重文件inference/本地推理代码模型定义、转换脚本、生成脚本encoding/DeepSeek-V4 专用 Prompt 编码器六、第四步转换权重格式本地推理前必做如果你打算用仓库自带的inference/脚本做本地推理需要先把 HuggingFace 权重转换成该工程格式。以 8 卡并行MP8为例export EXPERTS384 export MP8 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} --model-parallel ${MP}HF_CKPT_PATH克隆下来的仓库目录SAVE_PATH转换后输出目录转换脚本位于inference/convert.py它会将专家权重按模型并行度切分 想改用 FP8 专家只需把config.json中的expert_dtype: fp4移除并在转换时加--expert-dtype fp8即可。七、第五步推荐用 vLLM 快速部署如果你不想折腾脚本官方推荐的部署方式是用vLLM。基于 Docker 镜像rocm/vllm-dev:nightly_main_20260714启动服务一条命令即可拉起 OpenAI 兼容接口export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1 vllm serve amd/DeepSeek-V4-Pro-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}几个参数的作用--tensor-parallel-size 44 卡张量并行是官方评测配置--kv-cache-dtype fp8KV Cache 用 FP8 存储进一步省显存--tokenizer-mode deepseek_v4等启用 DeepSeek-V4 专属的 tokenizer 与推理/工具调用解析器服务启动后就得到了一个标准的/v1/completions接口可无缝接入各类应用。八、第六步本地交互式推理generate.py 方案不想用服务化方案的话也可以直接用工程自带的生成脚本inference/generate.py和模型对话torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} --interactive进入对话后输入问题即可输入/exit退出。也支持批量推理torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} --input-file ${FILE}多机推理如 2 节点 8 卡只需补充--nnodes、--node-rank、--master-addr参数。Prompt 的组装与多轮对话、工具调用、思考模式的编码由encoding/encoding_dsv4.py完成生成的答案格式与 DeepSeek 官方协议完全一致。九、性能与精度验证GSM8K 恢复率 99.0%AMD 官方在 GSM8K8-shot基准上对比了量化前后效果基准原始模型DeepSeek-V4-Pro量化模型MXFP4精度恢复率GSM8K严格匹配94.9093.699.0%也就是说将 MoE 专家权重压到 MXFP4 之后几乎感知不到精度下降却能换来显著的显存节省与推理加速这正是DeepSeek-V4-Pro-MXFP4环境搭建的价值所在。想复现评测可在 vLLM 服务启动后运行lm_eval框架的 gsm8k 任务。十、零基础避坑清单6 个高频问题ROCm 版本不对一律使用 7.2.0先rocminfo确认设备再继续。PyTorch 装错源必须装 rocm7.2 对应的 wheel否则 GPU 不可用。忘记装 tilelangFP4 算子依赖tilelang0.1.8版本锁死。权重没转换就 generate使用inference/脚本前必须先跑convert.py。显存不足--kv-cache-dtype fp8--tensor-parallel-size 4是官方标配。tokenizer 报错务必带--trust-remote-code --tokenizer-mode deepseek_v4启动 vLLM。十一、相关文件快速索引模型总配置config.json推理环境依赖inference/requirements.txt权重格式转换脚本inference/convert.py交互式推理入口inference/generate.py模型与算子实现inference/model.py、inference/kernel.py推理用模型配置inference/config.jsonPrompt 编码参考实现encoding/encoding_dsv4.py总结到这里一条完整的DeepSeek-V4-Pro-MXFP4环境搭建路线已经清晰确认硬件 → 安装 ROCm 7.2 → 配置 PyTorch 2.9 → 克隆仓库 → 转换权重 → 选择 vLLM 或本地脚本推理。只要严格对照版本清单避开文中提到的 6 个高频坑位新手也能在一两个小时内跑通这个 AMD 官方 MXFP4 量化模型。祝你的 AMD MI350 之旅顺利【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 DeepSeek-V4-Pro-MXFP4环境搭建完整指南：ROCm 7.2 + PyTorch 2.9 零基础避坑教程
DeepSeek-V4-Pro-MXFP4环境搭建完整指南ROCm 7.2 PyTorch 2.9 零基础避坑教程【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4本文是一份专为零基础用户准备的DeepSeek-V4-Pro-MXFP4环境搭建完整指南。DeepSeek-V4-Pro-MXFP4 是 AMD 官方基于 DeepSeek-V4-Pro 原始模型、使用 AMD Quark 量化工具压缩而来的 MoE 大语言模型将全部专家层权重与激活量化为 MXFP4 格式推理所需显存大幅下降而 GSM8K 精度仍能保持原模型的99.0%。本教程将手把手带你完成 ROCm 7.2 驱动安装、PyTorch 2.9 环境配置、模型下载与权重转换并给出 vLLM 与本地脚本两套推理方案让你在 AMD MI350 系列显卡上顺利跑通这个模型。一、DeepSeek-V4-Pro-MXFP4 是什么简单来说它是一款面向 AMD 数据中心显卡的 MXFP4 量化版 DeepSeek 模型。它有以下几个关键特征架构DeepseekV4ForCausalLM纯 MoE混合专家架构共61 层、384 个路由专家每次激活 6 个专家。量化方式使用 OCP MXFP4 标准权重静态量化、激活动态量化每个 32 元素块共享一个缩放因子。保留精度注意力层、路由 Gate、LayerNorm、Embedding、输出头及 MTP 模块保持原精度不动只量化专家投影因此精度损失极小。支持硬件AMD MI355 / MI350gfx950 架构对应软件栈为 ROCm 7.2.0 PyTorch 2.9.1。量化后的模型以 64 个 safetensors 分片文件存放在仓库中索引文件为model.safetensors.index.json权重加载由 HuggingFace Transformers5.13.1自动完成。二、环境搭建前必看软硬件要求清单开始前请先对照下表确认你的机器是否满足条件这是DeepSeek-V4-Pro-MXFP4环境搭建最容易踩坑的第一步项目最低要求备注GPUAMD MI355 / MI350gfx950其他架构不支持 MXFP4 算子操作系统Linux建议 Ubuntu 22.04 / 24.04驱动栈ROCm 7.2.0版本必须匹配过高过低都可能报算子错误PyTorch2.9.1 或更高需要支持 float4_e2m1fn 张量类型Transformers5.13.1需包含 deepseek_v4 模型代码显存建议 4×80GB 及以上官方推荐 tensor-parallel-size 4 提示inference/requirements.txt中还要求tilelang0.1.8与fast_hadamard_transform这两个是 FP4 高性能算子库缺一不可。三、第一步安装 ROCm 7.2 驱动环境ROCm 是 AMD 的 GPU 计算平台相当于 NVIDIA 的 CUDA。请务必使用7.2.0版本访问 AMD ROCm 官方安装文档选择与你 Linux 发行版匹配的仓库。执行安装命令安装rocm完整软件栈。安装完成后运行rocminfo确认能识别到 gfx950 设备。将 ROCm 的 bin 目录加入 PATH并配置LD_LIBRARY_PATH。避坑重点如果之前装过其他版本 ROCm务必先彻底卸载再重装ROCm 版本与驱动内核模块不匹配时rocminfo会报 No devices found这是最常见的问题之一。四、第二步安装 PyTorch 2.9 与推理依赖ROCm 装好后接下来配置 Python 环境。建议使用 conda 创建干净环境conda create -n dsv4 python3.11 -y conda activate dsv4 pip install torch2.9.1 --index-url https://download.pytorch.org/whl/rocm7.2 pip install transformers5.13.1 safetensors tilelang0.1.8 fast_hadamard_transform安装完成后可用下面一行代码快速验证 PyTorch 是否认到 AMD 显卡import torch print(torch.cuda.is_available(), torch.cuda.get_device_name(0))避坑重点PyTorch 的 ROCm 版本必须与 ROCm 7.2 对应即 rocm7.2 的 wheel否则会出现 no kernel image available 错误。五、第三步下载模型与仓库代码将仓库克隆到本地内含全部 64 个权重分片与推理代码git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4克隆完成后你会看到这些关键文件config.json模型结构配置61 层、384 专家、量化参数等model.safetensors.index.json权重分片索引model-00001-of-00064.safetensors~model-00064-of-00064.safetensors权重文件inference/本地推理代码模型定义、转换脚本、生成脚本encoding/DeepSeek-V4 专用 Prompt 编码器六、第四步转换权重格式本地推理前必做如果你打算用仓库自带的inference/脚本做本地推理需要先把 HuggingFace 权重转换成该工程格式。以 8 卡并行MP8为例export EXPERTS384 export MP8 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} --model-parallel ${MP}HF_CKPT_PATH克隆下来的仓库目录SAVE_PATH转换后输出目录转换脚本位于inference/convert.py它会将专家权重按模型并行度切分 想改用 FP8 专家只需把config.json中的expert_dtype: fp4移除并在转换时加--expert-dtype fp8即可。七、第五步推荐用 vLLM 快速部署如果你不想折腾脚本官方推荐的部署方式是用vLLM。基于 Docker 镜像rocm/vllm-dev:nightly_main_20260714启动服务一条命令即可拉起 OpenAI 兼容接口export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1 vllm serve amd/DeepSeek-V4-Pro-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}几个参数的作用--tensor-parallel-size 44 卡张量并行是官方评测配置--kv-cache-dtype fp8KV Cache 用 FP8 存储进一步省显存--tokenizer-mode deepseek_v4等启用 DeepSeek-V4 专属的 tokenizer 与推理/工具调用解析器服务启动后就得到了一个标准的/v1/completions接口可无缝接入各类应用。八、第六步本地交互式推理generate.py 方案不想用服务化方案的话也可以直接用工程自带的生成脚本inference/generate.py和模型对话torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} --interactive进入对话后输入问题即可输入/exit退出。也支持批量推理torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} --input-file ${FILE}多机推理如 2 节点 8 卡只需补充--nnodes、--node-rank、--master-addr参数。Prompt 的组装与多轮对话、工具调用、思考模式的编码由encoding/encoding_dsv4.py完成生成的答案格式与 DeepSeek 官方协议完全一致。九、性能与精度验证GSM8K 恢复率 99.0%AMD 官方在 GSM8K8-shot基准上对比了量化前后效果基准原始模型DeepSeek-V4-Pro量化模型MXFP4精度恢复率GSM8K严格匹配94.9093.699.0%也就是说将 MoE 专家权重压到 MXFP4 之后几乎感知不到精度下降却能换来显著的显存节省与推理加速这正是DeepSeek-V4-Pro-MXFP4环境搭建的价值所在。想复现评测可在 vLLM 服务启动后运行lm_eval框架的 gsm8k 任务。十、零基础避坑清单6 个高频问题ROCm 版本不对一律使用 7.2.0先rocminfo确认设备再继续。PyTorch 装错源必须装 rocm7.2 对应的 wheel否则 GPU 不可用。忘记装 tilelangFP4 算子依赖tilelang0.1.8版本锁死。权重没转换就 generate使用inference/脚本前必须先跑convert.py。显存不足--kv-cache-dtype fp8--tensor-parallel-size 4是官方标配。tokenizer 报错务必带--trust-remote-code --tokenizer-mode deepseek_v4启动 vLLM。十一、相关文件快速索引模型总配置config.json推理环境依赖inference/requirements.txt权重格式转换脚本inference/convert.py交互式推理入口inference/generate.py模型与算子实现inference/model.py、inference/kernel.py推理用模型配置inference/config.jsonPrompt 编码参考实现encoding/encoding_dsv4.py总结到这里一条完整的DeepSeek-V4-Pro-MXFP4环境搭建路线已经清晰确认硬件 → 安装 ROCm 7.2 → 配置 PyTorch 2.9 → 克隆仓库 → 转换权重 → 选择 vLLM 或本地脚本推理。只要严格对照版本清单避开文中提到的 6 个高频坑位新手也能在一两个小时内跑通这个 AMD 官方 MXFP4 量化模型。祝你的 AMD MI350 之旅顺利【免费下载链接】DeepSeek-V4-Pro-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Pro-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考