AMD-Quark量化技术终极教程：从GLM-5.1到NVFP4格式的完整转换流程

AMD-Quark量化技术终极教程从GLM-5.1到NVFP4格式的完整转换流程【免费下载链接】GLM-5.1-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/GLM-5.1-NVFP4GLM-5.1-NVFP4是基于GLM-5.1模型通过AMD-Quark量化技术转换为NVFP4格式的高效模型。本教程将详细介绍如何使用AMD-Quark工具将GLM-5.1模型量化为NVFP4格式以及量化后的部署和评估方法帮助新手和普通用户快速掌握这一强大的模型优化技术。一、准备工作环境与工具安装在开始量化转换之前需要确保你的系统环境满足以下要求操作系统LinuxROCm版本7.2.2PyTorch版本2.10.0Transformers版本5.2.0硬件支持AMD MI300/MI350/MI355支持模拟首先克隆项目仓库git clone https://gitcode.com/hf_mirrors/amd/GLM-5.1-NVFP4然后安装所需依赖pip install -r requirements.txt二、AMD-Quark量化核心步骤2.1 量化脚本配置AMD-Quark提供了便捷的量化脚本位于Quark/examples/torch/language_modeling/llm_ptq/目录下。我们需要设置一些关键参数model_dir原始GLM-5.1模型路径output_dir量化后模型保存路径quant_scheme量化方案这里使用nvfp4num_calib_data校准数据集大小推荐128exclude_layers需要排除量化的层2.2 执行量化命令设置好参数后执行以下命令开始量化sudo sysctl -w vm.max_map_count4194304 cd Quark/examples/torch/language_modeling/llm_ptq/ export CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7 export MODEL_DIRzai-org/GLM-5.1 export output_diramd/GLM-5.1-NVFP4 exclude_layers*self_attn* *mlp.gate lm_head *mlp.gate_proj *mlp.up_proj *mlp.down_proj python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme nvfp4 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --model_export hf_format \ --output_dir $output_dir \ --multi_gpu balanced这个过程会对模型的权重和激活进行量化其中权重采用静态NVFP4量化激活采用动态NVFP4量化。量化后的模型将以Hugging Face格式保存到指定目录。三、量化模型部署使用vLLM量化后的GLM-5.1-NVFP4模型可以通过vLLM后端高效部署。以下是部署步骤3.1 启动vLLM服务export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FP8BMM0 export VLLM_ROCM_USE_AITER_FP4BMM0 HIP_VISIBLE_DEVICES4,5,6,7 vllm serve amd/GLM-5.1-NVFP4 \ -tp 4 \ --block-size 1 \ --trust-remote-code \ --max-model-len 4096 \ --port 80823.2 模型推理测试服务启动后可以通过API进行推理测试。例如使用curl发送请求curl -X POST http://localhost:8082/v1/completions \ -H Content-Type: application/json \ -d {prompt: 你好世界, max_tokens: 100, temperature: 0.7}四、模型评估准确性验证为了确保量化后的模型性能我们使用GSM8K基准进行评估。4.1 安装评估工具pip install lm-eval[api]4.2 执行评估命令在新的终端中运行以下命令lm_eval \ --model local-completions \ --model_args {model: amd/GLM-5.1-NVFP4, base_url: http://localhost:8082/v1/completions, num_concurrent: 32, max_retries: 10, max_gen_toks: 2048, tokenizer_backend: null, tokenized_requests: false} \ --tasks gsm8k \ --batch_size auto \ --num_fewshot 5 \ --trust_remote_code4.3 评估结果分析根据评估结果GLM-5.1-NVFP4在GSM8Kflexible-extract基准上的准确率达到95.68%相比原始GLM-5.1模型的95.38%恢复率达到100.31%表明量化过程几乎没有损失模型性能。五、总结与展望通过本教程你已经掌握了使用AMD-Quark将GLM-5.1模型量化为NVFP4格式的完整流程。这一技术不仅显著降低了模型的存储和计算资源需求还保持了出色的性能。未来AMD-Quark将支持更多模型和量化方案为AI模型的高效部署提供更多可能。如果你在使用过程中遇到问题可以参考项目中的LICENSE文件和config.json配置文件获取更多详细信息和支持。【免费下载链接】GLM-5.1-NVFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/GLM-5.1-NVFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考