Qwythos-9B-v2：终极无循环推理AI模型的完整指南

Qwythos-9B-v2终极无循环推理AI模型的完整指南【免费下载链接】Qwythos-9B-v2项目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-v2Qwythos-9B-v2是一款由Empero AI开发的新一代无循环推理AI模型它在保留Qwythos-9B强大推理能力的基础上彻底解决了循环行为问题为用户提供更稳定、高效的AI推理体验。 Qwythos-9B-v2的核心改进 循环行为彻底消除在贪婪或低温解码下重复/退化现象从6.7%降至0%。现在无需依赖repetition_penalty作为权宜之计即可稳定使用该模型。 推理能力完全保留MMLU、GSM8K、GPQA、ARC和HumanEval等各项指标均保持或高于v1水平。这是一次模型优化升级而非能力降级。 MTP头部恢复之前版本中缺失的原生多令牌预测模块现已恢复确保配置和权重一致使推测性解码设置能够正常工作。 更清晰的身份标识模型不再在无关回答前添加身份信息仅在被明确询问时才会进行自我介绍。 保持无审查特性专为研究、网络安全、红队测试、生物学、化学、药理学和临床工作设计可自由探讨各类敏感技术和研究话题。 100万令牌上下文窗口依然采用YaRN技术支持100万令牌的超长上下文并且基于原生多模态Qwen3.5架构。 评估结果对比以下是Qwythos-9B-v2与相关模型的评估结果对比基准测试Qwen3.5-9B基础版Qwythos-9BQwythos-9B-v2MMLU (CoT)80.683.883.8ARC-Challenge95.695.096.4GPQA-diamond32.852.049.0GSM8K80.692.293.6HumanEval81.779.977.4循环率贪婪解码2.76.70.0注意在MMLU测试中v2在允许推理CoT时得分83.8%而在5-shot loglikelihood设置下为69.6%——Qwythos是一个推理模型在思考时表现更强。请根据您的比较基准选择相应的报告方式。️ 推荐的采样参数temperature0.6, top_p0.95, top_k20, repetition_penalty1.05, max_new_tokens16384由于循环问题已通过训练解决repetition_penalty现在是可选的而非必需的——贪婪/低温解码仍能保持连贯性。对于数学/代码/分析任务请为模型提供足够的推理空间max_new_tokens。 快速开始使用安装依赖首先确保安装了transformers库pip install transformers基本使用代码from transformers import AutoModelForImageTextToText, AutoTokenizer model_id empero-ai/Qwythos-9B-v2 tok AutoTokenizer.from_pretrained(model_id) model AutoModelForImageTextToText.from_pretrained(model_id, dtypebfloat16, device_mapauto) messages [{role: user, content: 证明存在无限多个质数。}] text tok.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs tok(text, return_tensorspt).to(model.device) out model.generate(**inputs, max_new_tokens16384, do_sampleTrue, temperature0.6, top_p0.95, top_k20, repetition_penalty1.05) print(tok.decode(out[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue))服务部署vLLM可以直接用于部署使用--trust-remote-code多模态架构实际上是文本专用的因此--limit-mm-per-prompt {image:0,video:0}可以简化启动。 模型详细信息项目详情开发者Empero AI基础模型empero-ai/Qwythos-9B-Claude-Mythos-5-1M基础Qwythos架构Qwen3.5-9B混合架构3:1 Gated-DeltaNet线性注意力全注意力支持多模态原生MTP头部参数9Bbfloat16safetensors格式上下文窗口1,048,576令牌YaRN factor 4分词器/聊天模板Qwen3.5原生ChatML风格许可证Apache-2.0⚠️ 注意事项这是一次模型优化/稳健性发布而非能力飞跃。v2在知识/推理基准测试上与基础Qwythos大致相当其优势在于消除循环、恢复MTP和改进行为而非更高的原始分数。HumanEval分数比Qwen3.5-9B基础版低几个百分点77.4 vs 81.7——这是推理/循环修复微调的一个已知小代价。MTP从基础模型保留未与微调权重共同训练因此推测性解码的接受度可能适中。基准测试来自我们的内部测试工具CoTpass1样本量如注请将它们用于相对比较并添加您自己的官方测试工具数据以与其他模型进行严格的横向比较。有意保持无审查——它将涉及敏感的技术/研究主题请负责任地部署并遵守适用法律。 相关文件配置文件config.json生成配置generation_config.json分词器配置tokenizer_config.json聊天模板chat_template.jinja要获取完整的模型和代码请克隆仓库git clone https://gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-v2Qwythos-9B-v2为AI推理任务提供了强大而稳定的解决方案无论是学术研究、技术开发还是其他需要深度推理的场景都是一个值得尝试的优秀选择。【免费下载链接】Qwythos-9B-v2项目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考