使用 llama.cpp 本地运行 Qwen3GGUF 获取、llama-cli/llama-server 实战与思考模式配置指南【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5导读本文是 Qwen3 官方仓库中本地运行Run Locally系列的核心篇章完整讲解如何借助 llama.cpp 生态在本机运行 Qwen3 系列模型。你将掌握三件事用编译、包管理器或预编译二进制三种方式拿到llama-cli与llama-server从 Hugging Face Hub 下载官方 GGUF 文件或自行转换量化以及用 CLI 命令行和 HTTP API 服务两种形态实际运行 Qwen3并处理思考/非思考模式的切换细节。文中所有命令均以 Qwen3-8B 为例可直接复制运行。一、先理解 llama.cpp 是什么llama.cpp 本质上是一个与 Python 生态torchtransformers或torchvllm平行的 C 推理生态设计哲学截然不同追求轻量 footprint、最少外部依赖、多平台与灵活广泛的硬件支持。官方文档总结了其核心特性纯 C/C 实现无外部依赖广泛的硬件支持x86_64 CPU 上的 AVX、AVX2、AVX512 指令集加速Apple Silicon 通过 Metal 和 AccelerateCPU 与 GPUNVIDIA GPUCUDA、AMD GPUhipBLAS、Intel GPUSYCL、昇腾 NPUCANN、摩尔线程 GPUMUSA面向 GPU 的 Vulkan 后端丰富的量化方案换取更快的推理速度与更低的内存占用CPUGPU 混合推理可部分加速超过显存总量的大模型。之所以强调使用 llama.cpp 要加引号是因为真正意义上的使用是指把它作为 C 库写进你自己的程序——Ollama、LM Studio、GPT4ALL、llamafile 等应用的源码正是这么做的。这与 Python 脚本即改即跑的体验有本质差别Python 是解释型语言代码由解释器逐行执行门槛低、易改C 是编译型语言源码需先经编译器翻译为机器码生成可执行程序运行时开销极小但对不熟悉 C/C 的开发者而言修改源码并不轻松。因此本指南不涉及二次开发而是聚焦于 llama.cpp 自带的两个示例程序llama-cli控制台聊天程序llama-serverHTTP 服务器提供 REST API 与简易 Web 前端。通过这两个程序你可以直接体会到 llama.cpp 对 Qwen3 系列模型的完整支持llama.cpp 自b5092版本起支持 Qwen3 与 Qwen3MoE并理解整个 llama.cpp 生态的一般工作方式。二、获取 llama.cpp 程序官方推荐三种途径效率优先级从高到低为本地编译 包管理器 预编译二进制。对于追求极致性能的场景本地编译能免费获得针对你 CPU 的指令集优化非生产场景下其余两种方式也完全够用。方式一本地编译macOS / Linux第一步安装构建工具。编译需要 C 编译器与构建系统工具先在终端执行cc --version或cmake --version检查是否已安装能打印版本信息即可继续报错则需先安装macOSxcode-select --installUbuntusudo apt install build-essential其他 Linux 发行版命令可能不同本指南必需的最小依赖是gcc和cmakeWindows 或 GPU 构建场景请参考 llama.cpp 官方构建文档。第二步克隆仓库并编译git clone https://github.com/ggml-org/llama.cpp cd llama.cppcmake -B build cmake --build build --config Release第一条cmake -B build会检查本地环境决定启用哪些后端与特性第二条命令真正开始编译。可用-j并行编译以缩短时间例如 8 核并行cmake --build build --config Release -j 8编译产物位于./build/bin/目录下本文后续命令均假设在该目录执行。方式二包管理器macOS 与 Linux 用户可通过 Homebrew、Nix、Flox 等包管理器直接安装llama-cli与llama-server。以 Homebrew 为例先确保 Homebrew 已就绪然后一条命令安装brew install llama.cpp需要提醒的是包管理器安装的二进制未必针对你的硬件启用了最优编译选项可能导致性能不佳且在 Linux 系统上它们通常不支持 GPU。方式三预编译二进制可以从 llama.cpp 的 GitHub Releases 页面下载预编译包。文件名格式为llama-version-bin-os-feature-arch.zip各段含义versionllama.cpp 版本号。建议优先使用最新版但 llama.cpp 发布频繁最新版可能携带缺陷若最新版运行异常可回退到上一个版本。oswinWindows、macosmacOS、linuxLinux。archx64x86_64覆盖绝大多数 Intel/AMD 系统及 Intel Mac、arm64Apple Silicon 或基于 Snapdragon 的系统。feature在 Windows 上较为复杂选择要点如下纯 CPU 运行x86_64建议先尝试avx2。noavx完全无硬件加速avx2/avx/avx512SIMD 加速多数现代桌面 CPU 支持avx2部分支持avx512openblas依赖 OpenBLAS 加速预填充prompt processing但不加速生成阶段。纯 CPU 运行arm64建议先尝试llvmllvm与msvc是两种不同的编译器。GPU 运行NVIDIA GPU 建议cucuda_versionAMD GPU 建议komputeIntel GPU 建议sycl并确保驱动已安装。vulcan支持部分 NVIDIA 与 AMD GPUkompute支持部分 NVIDIA 与 AMD GPUsyclIntel GPU自带 oneAPI 运行时cucuda_versionNVIDIA GPU但不含 CUDA 运行时若本地未装对应 CUDA 工具包可另行下载cudart-llama-bin-win-cucuda_version-x64.zip解压到同一目录。macOS 与 Linux 几乎没有选择空间Linux 只有一个预编译包llama-version-bin-linux-x64.zip仅支持 CPUmacOS 有llama-version-bin-macos-x64.zipIntel Mac无 GPU 支持与llama-version-bin-macos-arm64.zipApple Silicon支持 GPU。预编译包是架构、后端、操作系统三者强相关的不确定含义时最好别乱用运行不兼容版本大概率失败或性能极差。下载.zip后解压到某目录并在该目录打开终端执行命令。三、获取 GGUF 格式的 Qwen3 模型GGUF 是什么GGUFGPT-Generated Unified Format是一种模型存储文件格式容纳运行模型所需的全部信息模型权重、模型超参数、默认生成配置、分词器等。它是 llama.cpp 生态统一的模型载体。方案一使用官方 GGUFQwen 官方在 Hugging Face Hub 组织下提供一系列 GGUF 模型仓库名以-GGUF结尾可通过搜索直接定位所需版本。用huggingface-cli下载需先pip install huggingface_hubhuggingface-cli download model_repo gguf_file --local-dir local_dir例如下载 Qwen3-8B 的 Q4_K_M 量化版本huggingface-cli download Qwen/Qwen3-8B-GGUF qwen3-8b-q4_k_m.gguf --local-dir .方案二自行准备 GGUFHugging Face Hub 上的模型文件可用 llama.cpp 自带的convert-hf-to-gguf.py脚本转换要求本机有可用的 Python 环境且至少安装了transformers。若尚未克隆源码先执行git clone https://github.com/ggml-org/llama.cpp cd llama.cpp以 Qwen3-8B 为例生成 fp16 的 GGUFpython convert-hf-to-gguf.py Qwen/Qwen3-8B --outfile qwen3-8b-f16.gguf脚本第一个参数是 HF 模型目录路径或 HF 模型名第二个参数是输出 GGUF 文件路径运行前请先创建好输出目录。fp16 模型对本地运行来说可能偏大可按需量化。创建与量化 GGUF 的完整流程详见仓库文档 quantization/llama.cpp.md其中既包含无校准直接量化的简单方式如./llama-quantize Qwen3-8B-F16.gguf Qwen3-8B-Q8_0.gguf Q8_0也包含引入 AWQ Scale 或重要性矩阵llama-imatrix提升量化质量的进阶做法还介绍了用llama-perplexity在 wikitext 数据集上评估量化模型困惑度的标准流程建议读者对照使用。四、运行 Qwen3llama-cli 控制台实战llama-cli是纯控制台聊天程序。在 llama.cpp 程序所在目录执行./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift下面逐组解析这条命令的构成这也是你在其他模型上复用的通用模板。模型来源llama-cli支持三种模型来源Hugging Face Hub如上例-hf Qwen/Qwen3-8B-GGUF:Q8_0冒号后为仓库内的 GGUF 文件名本地路径改用-m qwen3-8b-q8_0.gguf远程 URL改用-mu https://hf.co/Qwen/Qwen3-8B-GGUF/resolve/main/qwen3-8b-Q8_0.gguf?downloadtrue。速度优化CPU 线程默认走 CPU用-t指定线程数如-t 8使用 8 线程GPU 卸载程序以 GPU 支持编译时-ngl控制卸载到 GPU 的层数多 GPU 时默认卸载到全部 GPU可用-dev指定设备、-sm指定并行切分方式。例如-ngl 99 -dev cuda0,cuda1 -sm row表示把全部层以 row 切分模式卸载到 GPU 0 和 GPU 1追加-fa可进一步加速生成。采样参数llama.cpp 支持多种采样方法并内置默认值。官方建议结合实际场景调整并可以参考 Qwen3 模型卡modelcard给出的推荐参数。若出现重复和无限生成建议额外追加--presence-penalty取值最高可到2.0。上下文管理重要llama.cpp 默认采用轮转式上下文管理rotating context-c最大上下文长度默认 40960表示从模型加载-n每次最大生成长度默认-1表示无限生成直到结束-2表示直到上下文写满当上下文已满而生成未结束时保留初始 prompt 中的前--keep个 token默认 0-1表示保留全部丢弃剩余部分的前半段然后基于新上下文继续生成追加--no-context-shift可禁用轮转行为达到-c上限即停止生成。此外 llama.cpp 支持 YaRN 长度外推例如-c 131072 --rope-scaling yarn --rope-scale 4 --yarn-orig-ctx 32768可将原始 32K 上下文扩展到 128K。本文示例命令统一追加了--no-context-shift即显式关闭轮转让长上下文行为更可控。聊天与交互--jinja使用 GGUF 内嵌的聊天模板首选方案--color着色区分用户输入与模型输出像 Qwen3 这样带聊天模板的模型llama-cli会自动进入聊天模式CtrlC停止生成或退出-sys可追加系统提示词。五、运行 Qwen3llama-server HTTP 服务llama-server是一个简易 HTTP 服务器包含一组 LLM REST API 和一个 Web 前端。核心命令与llama-cli几乎一致额外支持思考内容解析thinking content parsing与工具调用解析tool call parsing./llama-server -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --reasoning-format deepseek -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift启动后默认监听http://localhost:8080可用--host与--port修改Web 前端访问http://localhost:8080/OpenAI 兼容 API 位于http://localhost:8080/v1/可直接对接 OpenAI SDK 客户端。对比两条核心命令可以发现llama-server多了一个--reasoning-format deepseek参数正是它驱动了服务端对 Qwen3 思考内容的解析与剥离。六、思考模式与聊天模板的深度细节Qwen3 的思维链特性依赖enable_thinking这一软开关与聊天模板中实现的硬开关协同工作。需要特别注意聊天模板里的硬开关在 llama.cpp 中并未暴露因此无法像 Transformers 那样通过参数直接强制关闭思考。官方给出的快速替代方案是通过--chat-template-file传入一个等价于始终enable_thinkingFalse的自定义聊天模板。仓库中提供了现成文件 docs/source/assets/qwen3_nonthinking.jinja其关键实现逻辑包括完整保留 Qwen3 的ChatML风格|im_start|/|im_end|支持 system prompt、多轮对话与工具调用tool_call/tool_response协议生成提示阶段add_generation_prompt输出为|im_start|assistant\nthink\n\n/think\n\n——注意思考块为空即不引导模型输出思考内容等价于非思考模式。将软开关用户消息中通过/think、/no_think指令控制见仓库 README.md 中对 Qwen3 思考模式切换的说明与该自定义模板配合使用即可在 llama.cpp 中实现思考/非思考的完整控制。七、更进一步的生态选择如果觉得直接用 llama.cpp 仍嫌繁琐无需担心——Qwen3 已成为 Ollama 和 LM Studio 的官方支持模型这两个平台提供开箱即用的搜索与本地运行体验Ollamaollama run qwen3:8b一行运行支持/set parameter num_ctx 40960等运行时调参以及/set think、/set nothink切换思考模式同样内置 OpenAI 兼容 API默认http://localhost:11434/v1/。Ollama 底层与 llama.cpp 共享同一套轮转上下文机制其默认num_ctx 2048num_predict -1的组合对 Qwen3 并不友好建议显式设置详见仓库文档 run_locally/ollama.md。LM Studio可直接加载官方 GGUF 文件使用无需命令行。两者的底层推理引擎都基于 llama.cpp 生态因此本文介绍的 GGUF 获取、上下文管理、思考模式等知识完全通用可以平滑迁移。总结本文完整覆盖了在本地用 llama.cpp 运行 Qwen3 的全链路先通过编译/包管理/二进制三种方式获取程序再获取官方或自建的 GGUF 模型最后分别用llama-cli与llama-server完成交互式聊天与 HTTP API 服务部署并深入解析了模型来源、速度优化、采样参数、轮转上下文管理与思考模式切换等关键细节。掌握了这些你就可以在 CPU 或 GPU 上以可控的内存开销本地运行 Qwen3甚至进一步参考仓库的 quantization/llama.cpp.md 文档亲手量化出属于自己的高质量 GGUF 模型。祝你玩得开心【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 使用 llama.cpp 本地运行 Qwen3：GGUF 获取、llama-cli/llama-server 实战与思考模式配置指南
使用 llama.cpp 本地运行 Qwen3GGUF 获取、llama-cli/llama-server 实战与思考模式配置指南【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5导读本文是 Qwen3 官方仓库中本地运行Run Locally系列的核心篇章完整讲解如何借助 llama.cpp 生态在本机运行 Qwen3 系列模型。你将掌握三件事用编译、包管理器或预编译二进制三种方式拿到llama-cli与llama-server从 Hugging Face Hub 下载官方 GGUF 文件或自行转换量化以及用 CLI 命令行和 HTTP API 服务两种形态实际运行 Qwen3并处理思考/非思考模式的切换细节。文中所有命令均以 Qwen3-8B 为例可直接复制运行。一、先理解 llama.cpp 是什么llama.cpp 本质上是一个与 Python 生态torchtransformers或torchvllm平行的 C 推理生态设计哲学截然不同追求轻量 footprint、最少外部依赖、多平台与灵活广泛的硬件支持。官方文档总结了其核心特性纯 C/C 实现无外部依赖广泛的硬件支持x86_64 CPU 上的 AVX、AVX2、AVX512 指令集加速Apple Silicon 通过 Metal 和 AccelerateCPU 与 GPUNVIDIA GPUCUDA、AMD GPUhipBLAS、Intel GPUSYCL、昇腾 NPUCANN、摩尔线程 GPUMUSA面向 GPU 的 Vulkan 后端丰富的量化方案换取更快的推理速度与更低的内存占用CPUGPU 混合推理可部分加速超过显存总量的大模型。之所以强调使用 llama.cpp 要加引号是因为真正意义上的使用是指把它作为 C 库写进你自己的程序——Ollama、LM Studio、GPT4ALL、llamafile 等应用的源码正是这么做的。这与 Python 脚本即改即跑的体验有本质差别Python 是解释型语言代码由解释器逐行执行门槛低、易改C 是编译型语言源码需先经编译器翻译为机器码生成可执行程序运行时开销极小但对不熟悉 C/C 的开发者而言修改源码并不轻松。因此本指南不涉及二次开发而是聚焦于 llama.cpp 自带的两个示例程序llama-cli控制台聊天程序llama-serverHTTP 服务器提供 REST API 与简易 Web 前端。通过这两个程序你可以直接体会到 llama.cpp 对 Qwen3 系列模型的完整支持llama.cpp 自b5092版本起支持 Qwen3 与 Qwen3MoE并理解整个 llama.cpp 生态的一般工作方式。二、获取 llama.cpp 程序官方推荐三种途径效率优先级从高到低为本地编译 包管理器 预编译二进制。对于追求极致性能的场景本地编译能免费获得针对你 CPU 的指令集优化非生产场景下其余两种方式也完全够用。方式一本地编译macOS / Linux第一步安装构建工具。编译需要 C 编译器与构建系统工具先在终端执行cc --version或cmake --version检查是否已安装能打印版本信息即可继续报错则需先安装macOSxcode-select --installUbuntusudo apt install build-essential其他 Linux 发行版命令可能不同本指南必需的最小依赖是gcc和cmakeWindows 或 GPU 构建场景请参考 llama.cpp 官方构建文档。第二步克隆仓库并编译git clone https://github.com/ggml-org/llama.cpp cd llama.cppcmake -B build cmake --build build --config Release第一条cmake -B build会检查本地环境决定启用哪些后端与特性第二条命令真正开始编译。可用-j并行编译以缩短时间例如 8 核并行cmake --build build --config Release -j 8编译产物位于./build/bin/目录下本文后续命令均假设在该目录执行。方式二包管理器macOS 与 Linux 用户可通过 Homebrew、Nix、Flox 等包管理器直接安装llama-cli与llama-server。以 Homebrew 为例先确保 Homebrew 已就绪然后一条命令安装brew install llama.cpp需要提醒的是包管理器安装的二进制未必针对你的硬件启用了最优编译选项可能导致性能不佳且在 Linux 系统上它们通常不支持 GPU。方式三预编译二进制可以从 llama.cpp 的 GitHub Releases 页面下载预编译包。文件名格式为llama-version-bin-os-feature-arch.zip各段含义versionllama.cpp 版本号。建议优先使用最新版但 llama.cpp 发布频繁最新版可能携带缺陷若最新版运行异常可回退到上一个版本。oswinWindows、macosmacOS、linuxLinux。archx64x86_64覆盖绝大多数 Intel/AMD 系统及 Intel Mac、arm64Apple Silicon 或基于 Snapdragon 的系统。feature在 Windows 上较为复杂选择要点如下纯 CPU 运行x86_64建议先尝试avx2。noavx完全无硬件加速avx2/avx/avx512SIMD 加速多数现代桌面 CPU 支持avx2部分支持avx512openblas依赖 OpenBLAS 加速预填充prompt processing但不加速生成阶段。纯 CPU 运行arm64建议先尝试llvmllvm与msvc是两种不同的编译器。GPU 运行NVIDIA GPU 建议cucuda_versionAMD GPU 建议komputeIntel GPU 建议sycl并确保驱动已安装。vulcan支持部分 NVIDIA 与 AMD GPUkompute支持部分 NVIDIA 与 AMD GPUsyclIntel GPU自带 oneAPI 运行时cucuda_versionNVIDIA GPU但不含 CUDA 运行时若本地未装对应 CUDA 工具包可另行下载cudart-llama-bin-win-cucuda_version-x64.zip解压到同一目录。macOS 与 Linux 几乎没有选择空间Linux 只有一个预编译包llama-version-bin-linux-x64.zip仅支持 CPUmacOS 有llama-version-bin-macos-x64.zipIntel Mac无 GPU 支持与llama-version-bin-macos-arm64.zipApple Silicon支持 GPU。预编译包是架构、后端、操作系统三者强相关的不确定含义时最好别乱用运行不兼容版本大概率失败或性能极差。下载.zip后解压到某目录并在该目录打开终端执行命令。三、获取 GGUF 格式的 Qwen3 模型GGUF 是什么GGUFGPT-Generated Unified Format是一种模型存储文件格式容纳运行模型所需的全部信息模型权重、模型超参数、默认生成配置、分词器等。它是 llama.cpp 生态统一的模型载体。方案一使用官方 GGUFQwen 官方在 Hugging Face Hub 组织下提供一系列 GGUF 模型仓库名以-GGUF结尾可通过搜索直接定位所需版本。用huggingface-cli下载需先pip install huggingface_hubhuggingface-cli download model_repo gguf_file --local-dir local_dir例如下载 Qwen3-8B 的 Q4_K_M 量化版本huggingface-cli download Qwen/Qwen3-8B-GGUF qwen3-8b-q4_k_m.gguf --local-dir .方案二自行准备 GGUFHugging Face Hub 上的模型文件可用 llama.cpp 自带的convert-hf-to-gguf.py脚本转换要求本机有可用的 Python 环境且至少安装了transformers。若尚未克隆源码先执行git clone https://github.com/ggml-org/llama.cpp cd llama.cpp以 Qwen3-8B 为例生成 fp16 的 GGUFpython convert-hf-to-gguf.py Qwen/Qwen3-8B --outfile qwen3-8b-f16.gguf脚本第一个参数是 HF 模型目录路径或 HF 模型名第二个参数是输出 GGUF 文件路径运行前请先创建好输出目录。fp16 模型对本地运行来说可能偏大可按需量化。创建与量化 GGUF 的完整流程详见仓库文档 quantization/llama.cpp.md其中既包含无校准直接量化的简单方式如./llama-quantize Qwen3-8B-F16.gguf Qwen3-8B-Q8_0.gguf Q8_0也包含引入 AWQ Scale 或重要性矩阵llama-imatrix提升量化质量的进阶做法还介绍了用llama-perplexity在 wikitext 数据集上评估量化模型困惑度的标准流程建议读者对照使用。四、运行 Qwen3llama-cli 控制台实战llama-cli是纯控制台聊天程序。在 llama.cpp 程序所在目录执行./llama-cli -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --color -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift下面逐组解析这条命令的构成这也是你在其他模型上复用的通用模板。模型来源llama-cli支持三种模型来源Hugging Face Hub如上例-hf Qwen/Qwen3-8B-GGUF:Q8_0冒号后为仓库内的 GGUF 文件名本地路径改用-m qwen3-8b-q8_0.gguf远程 URL改用-mu https://hf.co/Qwen/Qwen3-8B-GGUF/resolve/main/qwen3-8b-Q8_0.gguf?downloadtrue。速度优化CPU 线程默认走 CPU用-t指定线程数如-t 8使用 8 线程GPU 卸载程序以 GPU 支持编译时-ngl控制卸载到 GPU 的层数多 GPU 时默认卸载到全部 GPU可用-dev指定设备、-sm指定并行切分方式。例如-ngl 99 -dev cuda0,cuda1 -sm row表示把全部层以 row 切分模式卸载到 GPU 0 和 GPU 1追加-fa可进一步加速生成。采样参数llama.cpp 支持多种采样方法并内置默认值。官方建议结合实际场景调整并可以参考 Qwen3 模型卡modelcard给出的推荐参数。若出现重复和无限生成建议额外追加--presence-penalty取值最高可到2.0。上下文管理重要llama.cpp 默认采用轮转式上下文管理rotating context-c最大上下文长度默认 40960表示从模型加载-n每次最大生成长度默认-1表示无限生成直到结束-2表示直到上下文写满当上下文已满而生成未结束时保留初始 prompt 中的前--keep个 token默认 0-1表示保留全部丢弃剩余部分的前半段然后基于新上下文继续生成追加--no-context-shift可禁用轮转行为达到-c上限即停止生成。此外 llama.cpp 支持 YaRN 长度外推例如-c 131072 --rope-scaling yarn --rope-scale 4 --yarn-orig-ctx 32768可将原始 32K 上下文扩展到 128K。本文示例命令统一追加了--no-context-shift即显式关闭轮转让长上下文行为更可控。聊天与交互--jinja使用 GGUF 内嵌的聊天模板首选方案--color着色区分用户输入与模型输出像 Qwen3 这样带聊天模板的模型llama-cli会自动进入聊天模式CtrlC停止生成或退出-sys可追加系统提示词。五、运行 Qwen3llama-server HTTP 服务llama-server是一个简易 HTTP 服务器包含一组 LLM REST API 和一个 Web 前端。核心命令与llama-cli几乎一致额外支持思考内容解析thinking content parsing与工具调用解析tool call parsing./llama-server -hf Qwen/Qwen3-8B-GGUF:Q8_0 --jinja --reasoning-format deepseek -ngl 99 -fa -sm row --temp 0.6 --top-k 20 --top-p 0.95 --min-p 0 -c 40960 -n 32768 --no-context-shift启动后默认监听http://localhost:8080可用--host与--port修改Web 前端访问http://localhost:8080/OpenAI 兼容 API 位于http://localhost:8080/v1/可直接对接 OpenAI SDK 客户端。对比两条核心命令可以发现llama-server多了一个--reasoning-format deepseek参数正是它驱动了服务端对 Qwen3 思考内容的解析与剥离。六、思考模式与聊天模板的深度细节Qwen3 的思维链特性依赖enable_thinking这一软开关与聊天模板中实现的硬开关协同工作。需要特别注意聊天模板里的硬开关在 llama.cpp 中并未暴露因此无法像 Transformers 那样通过参数直接强制关闭思考。官方给出的快速替代方案是通过--chat-template-file传入一个等价于始终enable_thinkingFalse的自定义聊天模板。仓库中提供了现成文件 docs/source/assets/qwen3_nonthinking.jinja其关键实现逻辑包括完整保留 Qwen3 的ChatML风格|im_start|/|im_end|支持 system prompt、多轮对话与工具调用tool_call/tool_response协议生成提示阶段add_generation_prompt输出为|im_start|assistant\nthink\n\n/think\n\n——注意思考块为空即不引导模型输出思考内容等价于非思考模式。将软开关用户消息中通过/think、/no_think指令控制见仓库 README.md 中对 Qwen3 思考模式切换的说明与该自定义模板配合使用即可在 llama.cpp 中实现思考/非思考的完整控制。七、更进一步的生态选择如果觉得直接用 llama.cpp 仍嫌繁琐无需担心——Qwen3 已成为 Ollama 和 LM Studio 的官方支持模型这两个平台提供开箱即用的搜索与本地运行体验Ollamaollama run qwen3:8b一行运行支持/set parameter num_ctx 40960等运行时调参以及/set think、/set nothink切换思考模式同样内置 OpenAI 兼容 API默认http://localhost:11434/v1/。Ollama 底层与 llama.cpp 共享同一套轮转上下文机制其默认num_ctx 2048num_predict -1的组合对 Qwen3 并不友好建议显式设置详见仓库文档 run_locally/ollama.md。LM Studio可直接加载官方 GGUF 文件使用无需命令行。两者的底层推理引擎都基于 llama.cpp 生态因此本文介绍的 GGUF 获取、上下文管理、思考模式等知识完全通用可以平滑迁移。总结本文完整覆盖了在本地用 llama.cpp 运行 Qwen3 的全链路先通过编译/包管理/二进制三种方式获取程序再获取官方或自建的 GGUF 模型最后分别用llama-cli与llama-server完成交互式聊天与 HTTP API 服务部署并深入解析了模型来源、速度优化、采样参数、轮转上下文管理与思考模式切换等关键细节。掌握了这些你就可以在 CPU 或 GPU 上以可控的内存开销本地运行 Qwen3甚至进一步参考仓库的 quantization/llama.cpp.md 文档亲手量化出属于自己的高质量 GGUF 模型。祝你玩得开心【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考