【免费下载链接】DeepSeek-V4-Pro-0813项目地址https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813点击查看免费下载导读本文基于 DeepSeek-V4-Pro-0813 官方仓库 README 及其配套的encoding与inference两个子模块系统讲解该模型的核心能力、OpenAI 兼容消息的编码/解析方案含工具调用、扩展思考与快速指令 token、以及 vLLM、SGLang、本地多卡推理三种部署路径。读完本文你将掌握如何把多轮对话与工具调用消息正确编码为模型输入、如何用单条启动命令开启 DSpark 投机解码加速以及如何在本地完成权重转换与交互式聊天。一、模型概览从预览版到正式版的关键升级DeepSeek-V4-Pro-0813是 DeepSeek-V4-Pro 的官方正式发布版本仓库根目录 README.md取代了此前的预览版本。它在生产环境中展现出显著增强的 Agent 能力与性能提升其基础架构沿用 DeepSeek-V4-Pro (Preview) 的模型结构并额外挂载了DSpark 投机解码speculative decoding模块。根据仓库根目录 README.md 中的说明该版本在仓库公布的多个基准上优于 DeepSeek-V4-Pro (Preview)并与最强的闭源模型整体处于同一水平。仓库官方公布的具体基准数据如下BenchmarkDeepSeek-V4-Pro-0813DeepSeek-V4-Flash-0731DeepSeek-V4-Pro (Preview)DeepSeek-V4-Flash (Preview)GLM-5.2Kimi K3Opus-4.8Fable-5 (w/ fallback)HLE (wo / w tools)42.7 / 60.037.8 / 51.537.7 / 48.234.8 / 45.140.5 / 54.743.5 / 56.049.8 / 57.953.3 / 63.0Terminal Bench 2.187.982.772.161.881.088.385.088.0NL2Repo61.554.238.539.448.9-69.7-Cybergym83.376.752.738.7-80.078.383.1DeepSWE62.754.412.87.346.267.558.070.0Toolathlon-Verified74.170.355.949.759.976.576.277.9Agents Last Exam25.725.216.515.823.827.625.7-AutomationBench (Public)31.825.112.810.812.930.827.229.1DSBench-FullStack †71.168.741.837.061.873.771.677.2DSBench-Hard †67.259.631.125.854.563.071.768.3评估说明摘自仓库 README上述公开基准中的代码 Agent 任务DeepSeek-V4-Pro-0813 使用 DeepSeek Harness 的最小模式minimal mode作为 Agent 框架评估推理努力级别取max采样参数为temperature 1.0, top_p 0.95。† 标记的 DSBench-FullStack 为内部全栈开发测试集DSBench-Hard 为内部困难编码 Agent 问题测试集。1.1 模型架构关键参数仓库根目录 config.json 给出了官方推理配置几个关键参数可以帮你在部署前建立对模型规模的准确认知架构类型DeepseekV4ForCausalLMmodel_type为deepseek_v4上下文长度max_position_embeddings 1048576约 100 万 token通过rope_scalingyarn类型factor 16原始长度 65536扩展MoE 结构n_routed_experts 384个路由专家、n_shared_experts 1个共享专家、每 token 激活num_experts_per_tok 6个专家moe_intermediate_size 3072路由打分函数为sqrtsoftplusscoring_functopk_method noaux_tcrouted_scaling_factor 2.5注意力num_attention_heads 128、head_dim 512、num_key_value_heads 1MQA 结构、q_lora_rank 1536、o_lora_rank 1024、o_groups 16、sliding_window 128量化quantization_config为动态 FP8quant_method: fp8、activation_scheme: dynamic、weight_block_size: [128, 128]、fmt: e4m3、scale_fmt: ue8m0专家权重默认expert_dtype: fp4DSpark 投机解码dspark_block_size 5、dspark_target_layer_ids [58, 59, 60]、dspark_markov_rank 512、dspark_noise_token_id 128799。这些参数可以在 inference/model.py 的ModelArgs数据类中找到一一对应的字段本地推理时会直接从config.json加载。二、消息编码方案OpenAI 兼容消息与模型输入字符串的转换这是本版本最值得注意的工程细节本次发布没有附带 Jinja 格式的 chat template。取而代之的是仓库提供了一个专门的encoding文件夹内含 Python 脚本与测试用例演示如何把 OpenAI 兼容格式的消息编码为模型的输入字符串以及如何解析模型的文本输出。完整文档见 encoding/README.md。官方给出的速览示例摘自根目录 README.mdfrom encoding_dsv4 import encode_messages, parse_message_from_completion_text messages [ {role: user, content: hello}, {role: assistant, content: Hello! I am DeepSeek., reasoning_content: thinking...}, {role: user, content: 11?} ] # messages - string prompt encode_messages(messages, thinking_modethinking, reasoning_effortmax) # string - tokens import transformers tokenizer transformers.AutoTokenizer.from_pretrained(deepseek-ai/DeepSeek-V4-Pro-0813) tokens tokenizer.encode(prompt)从 encoding/encoding_dsv4.py 的源码看encode_messages是主入口内部会依次完成工具消息合并merge_tool_messages、工具结果排序sort_tool_results_by_call_order、BOS 插入、思考内容裁剪_drop_thinking_messages以及逐条消息渲染render_message。2.1 特殊 Token 一览Token用途begin▁of▁sentence序列开始BOSend▁of▁sentence助手回合结束EOSUser用户回合前缀Assistant助手回合前缀latest_reminder最新提醒日期、地区等think//think推理块定界符DSMLDSML 标记 token这些 token 在 encoding_dsv4.py 中作为模块级常量定义。2.2 支持的消息角色编码支持以下角色system、user、assistant、tool、latest_reminder和developer。需要注意两点developer角色仅用于内部搜索 Agent 流水线通用聊天或工具调用任务不需要它官方 API 也不接受该角色的消息tool角色并非独立渲染——DeepSeek-V4 把工具结果合并进用户消息以tool_result块形式呈现源码中role tool分支直接抛出NotImplementedError并提示先用merge_tool_messages()预处理。从 OpenAI 格式转换时encode_messages会自动完成这一合并无需手动处理。2.3 基础多轮对话格式begin▁of▁sentence{system_prompt} User{user_message}Assistant/think{response}end▁of▁sentence User{user_message_2}Assistant/think{response_2}end▁of▁sentenceBOS token 总是预置在对话最开头add_default_bos_tokenTrue时在chat 模式thinking_modechat下/think紧跟在Assistant之后立即闭合思考块模型直接生成正文内容。2.4 交错思考模式Thinking Mode在thinking 模式thinking_modethinking下模型会在回答前于think.../think块内产出显式推理过程begin▁of▁sentence{system_prompt} User{message}Assistantthink{reasoning}/think{response}end▁of▁sentencedrop_thinking参数默认True控制是否保留早期回合的推理内容这是节省上下文的关键机制无工具场景drop_thinking生效。最后一个用户消息之前的助手回合推理内容会被剥离只有最后一轮助手回合保留think.../think块有工具场景system 或 developer 消息上定义了toolsdrop_thinking自动失效encode_messages源码中检测到任一消息携带tools即把effective_drop_thinking置为False。所有回合都保留推理内容因为工具调用对话需要完整上下文模型才能跨工具调用跟踪多步推理。源码中_drop_thinking_messages的裁剪规则encoding_dsv4.pyuser、system、tool、latest_reminder角色始终保留位于最后一个用户索引处及之后的助手消息保留推理之前的助手消息移除reasoning_content之前的developer消息整条丢弃。2.5 工具调用DSML 格式工具定义在system或developer消息的tools字段OpenAI 兼容格式上。当存在工具时会向 system/user 提示注入如下 schema 块该模板即源码中的TOOLS_TEMPLATEencoding_dsv4.py## Tools You have access to a set of tools to help answer the users question. You can invoke tools by writing a DSMLtool_calls block like the following: DSMLtool_calls DSMLinvoke name$TOOL_NAME DSMLparameter name$PARAMETER_NAME stringtrue|false$PARAMETER_VALUEDSMLparameter ... DSMLinvoke DSMLinvoke name$TOOL_NAME2 ... DSMLinvoke DSMLtool_calls String parameters should be specified as is and set stringtrue. For all other types (numbers, booleans, arrays, objects), pass the value in JSON format and set stringfalse. If thinking_mode is enabled (triggered by think), you MUST output your complete reasoning inside think.../think BEFORE any tool calls or final response. Otherwise, output directly after /think with tool calls or final response. ### Available Tool Schemas {tool_definitions_json} You MUST strictly follow the above defined tool name and parameter schemas to invoke tool calls.一个真实的工具调用在助手回合中长这样DSMLtool_calls DSMLinvoke namefunction_name DSMLparameter nameparam stringtruestring_valueDSMLparameter DSMLparameter namecount stringfalse5DSMLparameter DSMLinvoke DSMLtool_callsend▁of▁sentencestringtrue参数值是原始字符串stringfalse参数值是 JSON数字、布尔、数组、对象。工具执行结果包裹在用户消息内的tool_result标签中Usertool_result{result_json}/tool_resultAssistantthink...当存在多个工具结果时它们会按照前一条助手消息中对应tool_calls的顺序排序由sort_tool_results_by_call_order实现。编码时参数值按类型自动决定string标志字符串参数置true原样输出非字符串参数数字、布尔、数组、对象置false并以 JSON 序列化——这正是encode_arguments_to_dsml的逐参数处理逻辑encoding_dsv4.py。2.6 快速指令特殊 Token快速指令 token 用于辅助分类与生成类任务。它们通过消息的task字段追加到消息上触发模型针对单 token 或短格式输出的专用行为定义见 encoding_dsv4.py 的DS_TASK_SP_TOKENS特殊 Token描述格式action判断用户提示是否需要联网搜索或可直接回答。...User{prompt}Assistantthinkactiontitle在第一条助手回复后生成简洁对话标题。...Assistant{response}end▁of▁sentencetitlequery为用户提示生成搜索查询词。...User{prompt}queryauthority对用户提示的来源权威性需求进行分类。...User{prompt}authoritydomain识别用户提示所属领域。...User{prompt}domainextracted_urlread_url判断用户提示中的每个 URL 是否需要抓取阅读。...User{prompt}extracted_url{url}read_url消息格式中的使用规则action位于用户消息上actiontoken 放在助手前缀与思考 token 之后触发路由决策例如 Search 或 Answer其他任务query、authority、domain、read_url位于用户消息上任务 token 直接追加在用户内容之后title位于助手消息上titletoken 追加在助手 EOS 之后由下一条助手消息提供生成的标题。2.7 推理努力级别Reasoning Effortreasoning_effort参数支持low、high、max三个级别控制模型在回答前投入的思考deliberation程度。该级别纯粹以文本前缀的形式实现——在 thinking 模式下所选级别的前缀文本被预置到提示的最开头system 消息之前其余编码完全相同encoding_dsv4.py 的REASONING_EFFORT_PROMPTSreasoning_effort提示前缀low默认无highReasoning Effort: Absolute maximum ...maxReasoning Effort: Beyond maximum ...reasoning_effort在 chat 模式thinking_modechat下无效因为该模式下模型根本不产出推理块。high的完整前缀文本Reasoning Effort: Absolute maximum with no shortcuts permitted. You MUST be very thorough in your thinking and comprehensively decompose the problem to resolve the root cause, rigorously stress-testing your logic against all potential paths, edge cases, and adversarial scenarios. Explicitly write out your entire deliberation process, documenting every intermediate step, considered alternative, and rejected hypothesis to ensure absolutely no assumption is left unchecked.max的完整前缀文本Reasoning Effort: Beyond maximum — exhaustive, relentless, and uncompromising. You MUST reason with the utmost depth and rigor, leaving absolutely nothing to chance: exhaustively decompose the problem into its most fundamental components, trace every causal chain to its root, and resolve the underlying cause rather than any surface symptom. Do not stop reasoning until you have independently verified the solution from multiple angles and are certain that no assumption remains unchecked and no error remains undiscovered.2.8 解析模型输出parse_message_from_completion_textparse_message_from_completion_text(text, thinking_mode)负责把模型单回合的原始输出文本解析为结构化助手消息返回{role: assistant, content, reasoning_content, tool_calls}tool_calls 为 OpenAI 格式。解析流程encoding_dsv4.pythinking 模式下先读到/think提取reasoning_content随后读到 EOS 或 DSML tool_calls 起始标记提取content若存在工具调用则由parse_tool_calls逐个解析invoke/parameter块并还原为 JSON 参数。重要限制该函数仅面向格式良好的模型输出设计不尝试纠正模型偶尔产生的畸形输出。生产环境中建议自行增加额外的错误处理。三、编码方案的工程验证测试用例与可复现实验encoding/test_encoding_dsv4.py 提供了 4 个端到端测试用例覆盖了编码 解析的完整闭环测试输入输出存放在 encoding/tests 目录test_input_N.json/test_output_N.txt。直接运行即可验证python test_encoding_dsv4.py四个用例分别验证thinking 模式 工具调用多轮、工具结果合并进用户消息解析出get_weather工具调用参数{location: Beijing, unit: celsius}最终回合reasoning_content为 Got the weather data...正文包含 22°Cthinking 模式无工具drop_thinking剥离早期推理断言The user said hello不在最终 prompt 中验证早期推理被正确丢弃交错 thinking 搜索developer 携带工具、latest_reminder快速指令任务 latest_reminderchat 模式、action 任务。这些测试同时是理解编码行为的最快途径例如用例 1 验证了多工具结果按调用顺序排序用例 2 验证了drop_thinking的上下文压缩效果。四、部署路径一vLLM 推理服务与 DSpark 投机解码DSpark 投机解码只需一个标志即可开启在 vLLM 启动命令中追加--speculative-config指定method: dspark--speculative-config {method:dspark,num_speculative_tokens:7,draft_sample_method:greedy}官方在单个 4×GB300 节点上服务该模型的完整命令示例摘自根目录 README.mdvllm serve deepseek-ai/DeepSeek-V4-Pro-0813 \ --trust-remote-code --kv-cache-dtype fp8 --block-size 256 \ --data-parallel-size 4 --enable-expert-parallel \ --moe-backend deep_gemm_mega_moe \ --attention-config {use_fp4_indexer_cache: true} \ --speculative-config {method:dspark,num_speculative_tokens:7,draft_sample_method:greedy}各参数含义与配置要点--trust-remote-code允许加载模型仓库中的远程代码transformers 集成必需--kv-cache-dtype fp8KV 缓存使用 FP8 存储显著降低大上下文下的显存占用--block-size 256PagedAttention 的 KV 块大小--data-parallel-size 4与--enable-expert-parallel配合 4 卡节点开启数据并行与专家并行EP--moe-backend deep_gemm_mega_moe使用 DeepGEMM 的 MoE 后端--attention-config {use_fp4_indexer_cache: true}启用 FP4 索引器缓存对应配置中expert_dtype: fp4与 DSpark 索引机制--speculative-config开启 DSpark 投机解码num_speculative_tokens 7表示每步最多投机 7 个候选 tokendraft_sample_method greedy表示草稿采样采用贪心策略。关于 DSpark 在模型侧的依据仓库根目录 config.json 中的dspark_block_size 5、dspark_target_layer_ids [58, 59, 60]、dspark_markov_rank 512等字段即 DSpark 模块的超参数本地推理实现inference/model.py 的ModelArgs与 kernelinference/kernel.py中也包含对应的 DSpark 相关实现目标层与主模型共享同一份 checkpoint因此无需单独指定草稿模型路径。五、部署路径二SGLang 推理服务SGLang 上启用 DSpark 的方式是使用--speculative-algorithm DSPARK并且不要单独设置--speculative-draft-model-path——因为目标权重与草稿权重来自同一个 checkpoint这正是 DSpark 设计的特点之一。官方示例命令摘自根目录 README.mdsglang serve \ --trust-remote-code \ --model-path deepseek-ai/DeepSeek-V4-Pro-0813 \ --tp 4 \ --moe-runner-backend flashinfer_mxfp4 \ --speculative-algorithm DSPARK \ --mem-fraction-static 0.90 \ --chunked-prefill-size 4096 \ --swa-full-tokens-ratio 0.1参数要点--tp 4张量并行度 4对应单节点 4 卡--moe-runner-backend flashinfer_mxfp4MoE 运行后端采用 FlashInfer 的 MXFP4 路径与模型的 FP4 专家权重配合--speculative-algorithm DSPARK开启 DSpark 投机解码--mem-fraction-static 0.90静态显存占用比例上限--chunked-prefill-size 4096prefill 分块大小--swa-full-tokens-ratio 0.1SWAsliding window attention满 token 比例。六、部署路径三本地多卡推理权重转换 交互式聊天本地运行的详细说明在 inference/README.md核心流程分为两步先转换权重再启动推理。6.1 第一步转换 Hugging Face 权重export EXPERTS256 export MP4 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}说明EXPERTS为模型总专家数仓库配置中n_routed_experts 384此处以 README 示例的 256 为准需与 checkpoint 一致MP为模型并行度HF_CKPT_PATH指向 Hugging Face 格式权重目录SAVE_PATH为转换输出目录。转换脚本 inference/convert.py 会把*.safetensors按模型并行度切分专家权重按idx分片到各 rank并处理wo_a权重反量化合并转换完成后还会把tokenizer.json、tokenizer_config.json一并复制到输出目录。FP8 切换说明若想使用 FP8 专家权重只需在config.json中移除expert_dtype: fp4字段并在convert.py中追加--expert-dtype fp8。脚本的cast_e2m1fn_to_e4m3fn会把 FP4e2m1fn专家权重无损转换为 FP8e4m3fn并计算新的缩放因子。6.2 第二步启动推理交互式聊天torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive从文件批量推理torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --input-file ${FILE}多节点推理torchrun --nnodes ${NODES} --nproc-per-node $((MP / NODES)) --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --input-file ${FILE}inference/generate.py 的实现要点交互模式下会维护messages列表每次用encode_messages(messages, thinking_modechat)编码后送入generate()做 prefill decode输出经parse_message_from_completion_text(completion, thinking_modechat)解析回结构化消息并追加到历史实现多轮对话支持/exit退出、/clear清空上下文--max-new-tokens默认 300与--temperature默认 1.0可调。6.3 本地部署的采样参数建议对于本地部署官方建议摘自根目录 README.md采样参数设为temperature 1.0Agent 场景下top_p 0.95其他场景top_p 1.0对于high和max推理努力级别建议最大输出长度设为384Ktoken。仓库根目录 generation_config.json 的默认值do_sample: true、temperature: 1.0、top_p: 1.0与上述建议一致。七、快速开始编码 推理的最小可运行闭环综合以上内容一个最小可运行的端到端闭环如下from encoding_dsv4 import encode_messages, parse_message_from_completion_text # 1. 定义对话OpenAI 兼容格式 messages [ {role: system, content: You are a helpful assistant.}, {role: user, content: What is 22?}, ] # 2. 编码为模型输入字符串 prompt encode_messages(messages, thinking_modethinking) # begin▁of▁sentenceYou are a helpful assistant.UserWhat is 22?Assistantthink # 3. 在真实部署中此处调用推理引擎得到 completion # 4. 解析模型输出为结构化消息 completion Simple arithmetic./think2 2 4.end▁of▁sentence parsed parse_message_from_completion_text(completion, thinking_modethinking) # {role: assistant, reasoning_content: Simple arithmetic., content: 2 2 4., tool_calls: []}要点回顾编码入口encode_messages(messages, thinking_mode, reasoning_effort, drop_thinking, context, add_default_bos_token)其中thinking_mode取chat或thinkingreasoning_effort取low默认/high/max解析入口parse_message_from_completion_text(text, thinking_mode)仅适用于格式良好的输出无 Jinja 模板模型仓库不提供 Jinja chat template任何生产集成都必须使用encoding模块完成编解码测试用例encoding/tests即官方行为规范。八、许可与引用本仓库及其模型权重采用MIT License见 LICENSE。若在学术工作中使用 DeepSeek-V4可参考根目录 README 提供的引用格式misc{deepseekai2026deepseekv4, title{DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence}, author{DeepSeek-AI}, year{2026}, }如有问题可在仓库提交 issue 或联系 servicedeepseek.com。小结DeepSeek-V4-Pro-0813 是一套面向 Agent 场景的正式发布模型。其部署链路的关键在于三件事用encoding模块而非 Jinja 模板完成消息编解码、用--speculative-config/--speculative-algorithm DSPARK单参数开启 DSpark 投机解码、以及按官方建议的采样参数temperature1.0、Agent 场景top_p0.95、high/max努力级别下 384K 最大输出配置本地推理。结合 encoding/README.md、inference/README.md 与根目录 README.md即可完成从编码、部署到调优的完整落地。赞分享【免费下载链接】DeepSeek-V4-Pro-0813项目地址https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813点击查看免费下载相关推荐DeepSeek-V4-Flash-0731 完全指南聊天模板编码、DSpark 投机解码与 vLLM/SGLang/本地推理部署实战DeepSeek V4 Flash 0731 完全指南聊天模板编码、DSpark 投机解码与 vLLM/SGLang/本地推理部署实战 DeepSeek V4人工智能大模型基础模型DeepSeekDeepSeek-V4-Pro-0813 本地推理实战指南权重转换、单机/多机部署与 FP8/FP4 精度切换DeepSeek V4 Pro 0813 本地推理实战指南权重转换、单机/多机部署与 FP8/FP4 精度切换 DeepSeek V4 Pro 0813 的官为什么推理更快DeepSeek-V4-Flash-Vision-Exp DSpark 投机解码机制深度全解为什么推理更快DeepSeek V4 Flash Vision Exp DSpark 投机解码机制深度全解 DeepSeek V4 Flash Vision大模型基础模型多模态计算机视觉DeepSeek创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考