阿里通义千问团队正式开源了作为 Qwen4 雏形的全新架构模型——Qwen3.8-Flash-Next这款总参数高达 125B*的巨无霸 MoE 模型单 Token 激活参数仅 6B。最震撼的是凭借全新的 N-gram Embedding 卸载机制在显存爆满的情况下“借用硬盘/内存”居然也能平稳运行本文手把手带你完成本地部署与极限跑分实测。一、 为什么说 Qwen3.8-Flash-Next 是架构狂魔在开始部署之前先来看看这次 Qwen3.8-Flash-Next 带来了哪些撕开大模型性能天花板的“黑科技”1. 125B 总参数单 Token 仅激活 6B极致稀疏 MoE 架构兼顾了超大模型的知识储备量与超小模型的推理速度。2. 51B N-gram Embedding 异步卸载“显存不够硬盘/内存来凑”的底气所在51B 的 Embedding 参数可以通过异步 Prefetch 挂载在 Host Memory内存甚至 Swap 交换区中完全不长期挤占 GPU 显存3. GDN QSA 混合注意力机制采用 Gated DeltaNet 与稀疏注意力 QSA在 1M 超长上下文下 Prefill 吞吐直接提升到了前代的 8.6 倍二、 本地硬件测试环境为了测试它的极限“下沉”能力本次实测并没有使用昂贵的 A100/H100 集群而是采用了一台“偏科”的单卡消费级主机GPUNVIDIA RTX 3090 / 4090 (24GB VRAM)CPUAMD Ryzen 9 / Intel i9RAM64GB DDR5 (或 128GB DDR4)DiskPCIe 4.0 NVMe SSD (划出 64GB Swap 作为虚拟内存) 测试目标仅凭 24GB 显存能否撬动 125B 参数量级的模型答案是配合 GGUF 量化与 offload 策略真能跑三、 手把手本地部署教程 (llama.cpp / Ollama)Step 1: 环境准备与模型下载推荐下载社区已经转换好的 UD-Q4_K_XL 或 Q4_K_M 量化版本 GGUF 文件bash# 安装最新版支持 GDN/QSA 架构的 llama.cppgit clone https://github.com/ggerganov/llama.cppcd llama.cppmake LLAMA_CUDA1 # 开启 CUDA 加速# 下载 Qwen3.8-Flash-Next-GGUF 模型权重huggingface-cli download unsloth/Qwen3.8-Flash-Next-GGUF \--include *Q4_K_M.gguf* \--local-dir ./models/Step 2: 关键部署命令显存/内存/硬盘层级卸载要让 24GB 显存吃下 125B 模型关键在于将计算密集的 MoE 激活层放显存而将 庞大的 N-gram 表和非激活层卸载到 Host RAM 和硬盘 Swapbash./llama-cli \-m ./models/Qwen3.8-Flash-Next-Q4_K_M.gguf \-n 512 \--ctx-size 16384 \-ngl 35 \ # 将部分 Key Layers 层卸载至 GPU 显存 (约占 22GB)--cpu-mask 0x00FF \ # 绑定 CPU 核心提高 Host Memory 检索吞吐--mmap \ # 开启内存映射超出的权重直接利用 NVMe SSD Swap 缓存-p 你是一个顶尖的技术专家请分析 Qwen3.8-Flash-Next 架构的优势。 小贴士如果遇到 OOM显存溢出可以适当降低 -ngl (Offload 层数) 至 28-30把更多层交由内存/硬盘承担。三、 实测表现与推理速度在单卡 24GB 显存 内存/硬盘联合支撑下实际运行表现如下text[系统日志输出]llama_model_loader: loaded meta data with 31 key-value pairsllama_kv_cache_init: VRAM allocated 21.8 GBllama_kv_cache_init: Host RAM allocated 48.2 GB (CPU/Swap)[生成速度实测]Prompt eval: 125.4 tokens/s (1M Context 挂载场景下 Prefill 极快)Eval speed: 8.5 tokens/s (虽然使用了硬盘 Swap 和内存依然达到了可食用的首字输出速度)跑分与实际表现评估1. 代码与推理即使在 Q4 量化下由于 125B 参数底座带来的极高容量复杂逻辑推理和代码生成能力几乎完胜传统的 32B/70B 密集模型。2. Thinking 思考模式模型原生带有深度思考链机制\n...\n\n 格式在面对复杂数学和算法题时展现出了堪比商业 API 的逻辑链。四、 总结与体验感受阿里这次发布的 qwen3.8-Flash-Next绝对是开源界的一把重锤。它不仅代表着 Qwen4 的全新技术路线更重要的是它向开发者证明了大模型不再是顶级显卡阵列的专属品。通过 极致稀疏 MoE与 N-gram Embedding 内存/硬盘卸载** 的组合拳普通个人开发者用单卡消费级显卡加上便宜的内存和 SSD居然真的把 125B 级别的模型本地跑起来了大家赶紧上手折腾起来吧如果在部署过程中遇到任何报错或 OOM 问题欢迎在评论留言 【开源炸场】Qwen3.8-Flash-Next 震撼开源！125B 巨量 MoE 本地实测，显存不够硬盘来凑，单卡居然真跑通了！
阿里通义千问团队正式开源了作为 Qwen4 雏形的全新架构模型——Qwen3.8-Flash-Next这款总参数高达 125B*的巨无霸 MoE 模型单 Token 激活参数仅 6B。最震撼的是凭借全新的 N-gram Embedding 卸载机制在显存爆满的情况下“借用硬盘/内存”居然也能平稳运行本文手把手带你完成本地部署与极限跑分实测。一、 为什么说 Qwen3.8-Flash-Next 是架构狂魔在开始部署之前先来看看这次 Qwen3.8-Flash-Next 带来了哪些撕开大模型性能天花板的“黑科技”1. 125B 总参数单 Token 仅激活 6B极致稀疏 MoE 架构兼顾了超大模型的知识储备量与超小模型的推理速度。2. 51B N-gram Embedding 异步卸载“显存不够硬盘/内存来凑”的底气所在51B 的 Embedding 参数可以通过异步 Prefetch 挂载在 Host Memory内存甚至 Swap 交换区中完全不长期挤占 GPU 显存3. GDN QSA 混合注意力机制采用 Gated DeltaNet 与稀疏注意力 QSA在 1M 超长上下文下 Prefill 吞吐直接提升到了前代的 8.6 倍二、 本地硬件测试环境为了测试它的极限“下沉”能力本次实测并没有使用昂贵的 A100/H100 集群而是采用了一台“偏科”的单卡消费级主机GPUNVIDIA RTX 3090 / 4090 (24GB VRAM)CPUAMD Ryzen 9 / Intel i9RAM64GB DDR5 (或 128GB DDR4)DiskPCIe 4.0 NVMe SSD (划出 64GB Swap 作为虚拟内存) 测试目标仅凭 24GB 显存能否撬动 125B 参数量级的模型答案是配合 GGUF 量化与 offload 策略真能跑三、 手把手本地部署教程 (llama.cpp / Ollama)Step 1: 环境准备与模型下载推荐下载社区已经转换好的 UD-Q4_K_XL 或 Q4_K_M 量化版本 GGUF 文件bash# 安装最新版支持 GDN/QSA 架构的 llama.cppgit clone https://github.com/ggerganov/llama.cppcd llama.cppmake LLAMA_CUDA1 # 开启 CUDA 加速# 下载 Qwen3.8-Flash-Next-GGUF 模型权重huggingface-cli download unsloth/Qwen3.8-Flash-Next-GGUF \--include *Q4_K_M.gguf* \--local-dir ./models/Step 2: 关键部署命令显存/内存/硬盘层级卸载要让 24GB 显存吃下 125B 模型关键在于将计算密集的 MoE 激活层放显存而将 庞大的 N-gram 表和非激活层卸载到 Host RAM 和硬盘 Swapbash./llama-cli \-m ./models/Qwen3.8-Flash-Next-Q4_K_M.gguf \-n 512 \--ctx-size 16384 \-ngl 35 \ # 将部分 Key Layers 层卸载至 GPU 显存 (约占 22GB)--cpu-mask 0x00FF \ # 绑定 CPU 核心提高 Host Memory 检索吞吐--mmap \ # 开启内存映射超出的权重直接利用 NVMe SSD Swap 缓存-p 你是一个顶尖的技术专家请分析 Qwen3.8-Flash-Next 架构的优势。 小贴士如果遇到 OOM显存溢出可以适当降低 -ngl (Offload 层数) 至 28-30把更多层交由内存/硬盘承担。三、 实测表现与推理速度在单卡 24GB 显存 内存/硬盘联合支撑下实际运行表现如下text[系统日志输出]llama_model_loader: loaded meta data with 31 key-value pairsllama_kv_cache_init: VRAM allocated 21.8 GBllama_kv_cache_init: Host RAM allocated 48.2 GB (CPU/Swap)[生成速度实测]Prompt eval: 125.4 tokens/s (1M Context 挂载场景下 Prefill 极快)Eval speed: 8.5 tokens/s (虽然使用了硬盘 Swap 和内存依然达到了可食用的首字输出速度)跑分与实际表现评估1. 代码与推理即使在 Q4 量化下由于 125B 参数底座带来的极高容量复杂逻辑推理和代码生成能力几乎完胜传统的 32B/70B 密集模型。2. Thinking 思考模式模型原生带有深度思考链机制\n...\n\n 格式在面对复杂数学和算法题时展现出了堪比商业 API 的逻辑链。四、 总结与体验感受阿里这次发布的 qwen3.8-Flash-Next绝对是开源界的一把重锤。它不仅代表着 Qwen4 的全新技术路线更重要的是它向开发者证明了大模型不再是顶级显卡阵列的专属品。通过 极致稀疏 MoE与 N-gram Embedding 内存/硬盘卸载** 的组合拳普通个人开发者用单卡消费级显卡加上便宜的内存和 SSD居然真的把 125B 级别的模型本地跑起来了大家赶紧上手折腾起来吧如果在部署过程中遇到任何报错或 OOM 问题欢迎在评论留言