从Moshi到PersonaPlexNVIDIA全双工语音模型7b演进全解析【免费下载链接】personaplexPersonaPlex code.项目地址: https://gitcode.com/GitHub_Trending/pe/personaplexPersonaPlex 是 NVIDIA 推出的7B 参数全双工语音模型基于 Moshi 架构微调而来支持实时低延迟语音对话。它让你通过文本角色提示和声音克隆提示自由定义 AI 的人设与音色实现边听边说、可被打断的自然对话体验。本文带你从架构、部署到调参一次看懂这套全双工语音模型。️ 什么是全双工语音对话传统语音助手是半双工的你说完 → 等它处理 → 它再回答像对讲机一样轮流发言中间有 1~2 秒的机械停顿。**全双工Full-Duplex**则像真人通话能力半双工传统全双工PersonaPlex边听边说❌ 轮流进行✅ 同时进行用户打断❌ 需等回复结束✅ 随时打断延迟秒级毫秒级流式输出语气/音色固定可自定义 核心关键词全双工语音模型、实时语音对话、语音克隆、角色控制——这正是 Moshi 系列模型的核心卖点而 PersonaPlex 在此基础上增加了人设 音色双维度控制。 从 Moshi 到 PersonaPlex7b 演进了什么Moshi 是由 Kyutai 开源的全双工语音对话架构底座为 Helium 大语言模型。NVIDIA 在其架构与权重基础上微调推出personaplex-7b-v17B 参数带来三大升级 角色控制Role Control用一段文本提示词即可定义 AI 的身份——客服、老师、宇航员甚至一个正在处理火星反应堆故障的宇航员 音色控制Voice Conditioning通过预置的声音嵌入NATF0~NATF3、NATM0~NATM3、VARF/VARM 系列切换不同自然度与多样性的音色 泛化能力得益于 Helium 底座的广泛训练语料模型对训练分布外的提示词仍能给出合理、有趣的对话。项目代码即 Moshi 代码库的 Fork服务端入口在 moshi/moshi/server.py模型语言模型核心在 moshi/moshi/models/lm.py。️ 架构拆解Depth Temporal 双层 Transformer架构图展示了数据从输入到生成的完整链路自下而上分为三层Mimi 神经音频编解码器把用户麦克风输入和待生成的语音压缩成离散 token 流12.5 Hz 帧率每帧 8 个 token 流定义见 moshi/moshi/models/lm.py 中的FRAME_RATE_HZ与AUDIO_TOKENS_PER_STREAMTemporal Transformer时间维沿时间轴建模捕捉对话的节奏与上下文Depth Transformer深度维在每一帧内逐层解码 8 条音频 token 流实现自回归式语音生成。输入通道包含四路User Audio你的麦克风、Agent Audio模型输出的语音、Agent Text模型说的话的文本转录、以及Hybrid System Prompt系统提示 声音提示 语音提示混合拼接。全双工的精髓在于当用户开口时模型会实时将麦克风流拼入输入从而做到边听边说、随叫随停。量化与压缩模块VQ 向量量化、SEANet 神经网络声码器位于 moshi/moshi/quantization/ 与 moshi/moshi/modules/seanet.py负责音频与 token 之间的双向转换。⚡ 一键部署从安装到开口说话第一步准备环境并安装先安装 Opus 音频编码库再安装本项目# Ubuntu/Debian sudo apt install libopus-dev # 获取代码 git clone https://gitcode.com/GitHub_Trending/pe/personaplex cd personaplex # 安装 Python 服务端见 moshi/pyproject.toml要求 Python 3.10 pip install moshi/.⚠️ Blackwell 架构 GPU 需额外安装 CUDA 13.0 版 PyTorch显存不足时启动服务加上--cpu-offload参数即可把模型层卸载到 CPU。第二步接受模型授权在 Hugging Face 上接受personaplex-7b-v1的模型协议然后配置环境变量export HF_TOKEN你的HF令牌第三步启动服务器打开浏览器SSL_DIR$(mktemp -d); python -m moshi.server --ssl $SSL_DIR浏览器访问localhost:8998即可进入 Web UI选择音色、输入角色提示词对着麦克风开口对话。前端基于 React WebSocket 构建消息协议handshake / audio / text / control定义在 client/src/protocol/types.ts浏览器端通过 Opus 编码器client/public/assets/decoderWorker.min.wasm实时解码模型返回的音频流。Docker 懒人方案有 NVIDIA GPU 的机器可以直接用 Docker Compose 一键拉起docker compose up --build部署描述在 docker-compose.yaml映射 8998 端口并预留 1 张 GPU镜像构建脚本见 Dockerfile基于 NVIDIA CUDA 12.4 镜像。 角色提示词指南3 类人设任你选模型在合成客服对话 真实语料Fisher 语料库上训练提示词风格直接影响对话质量1️⃣ 智慧助手默认角色You are a wise and friendly teacher. Answer questions or provide advice in a clear and engaging way.2️⃣ 客服角色支持业务信息注入完整示例见 assets/test/prompt_service.txtYou work for AeroRentals Pro which is a drone rental company and your name is Tomaz Novak. Information: PhoenixDrone X ($65/4 hours), SpectraDrone 9 ($95/4 hours). Deposit required: $150.3️⃣ 闲聊角色基于真实对话语料训练You enjoy having a good conversation. Have a casual discussion about eating at home versus dining out. 出格玩法官方在 Web UI 内置了一个火星宇航员提示词——让 AI 扮演正在处理火星反应堆熔堆故障的宇航员紧急向你求助。这就是 7B 底座的泛化能力训练分布之外的场景也能聊出花来。音色怎么选系列标签特点Natural女NATF0 ~ NATF3自然、口语化Natural男NATM0 ~ NATM3自然、口语化Variety女VARF0 ~ VARF4音色多样Variety男VARM0 ~ VARM4音色多样 离线评测不连麦也能跑不想开麦克风离线脚本可以把一个 wav 文件喂给模型流式处理后输出同样时长的回复 wav适合做评测与对比源码moshi/moshi/offline.pyHF_TOKENTOKEN python -m moshi.offline \ --voice-prompt NATF2.pt \ --input-wav assets/test/input_assistant.wav \ --seed 42424242 \ --output-wav output.wav --output-text output.json--voice-prompt指定音色--text-prompt指定角色输出同时包含音频与文本转录方便评估用户打断、停顿处理、平滑轮替等全双工能力指标。 项目结构速览README.md安装、提示词指南与音色列表本文大部分内容的出处moshi/Python 服务端moshi/moshi/server.pyWebSocket 实时服务入口moshi/moshi/offline.py离线批量评测moshi/moshi/models/LM 语言模型与 Mimi 编解码器加载moshi/moshi/modules/流式 Transformer、卷积、注意力等底层模块client/React 前端 Web UIVite Tailwindclient/src/pages/Conversation/对话页面、音频可视化、控制面板client/src/decoder/decoderWorker.ts浏览器端 WebAssembly 音频解码 Workerdocker-compose.yamlGPU 容器化部署❓ 常见问题Q没有显卡能跑吗可以。离线评测支持纯 CPU 安装 PyTorch实时服务建议至少配备一张显存 ≥16GB 的 GPU或使用--cpu-offload。Q为什么强调7B7B 指底座 Helium 语言模型的参数量级是 Moshi 系列全双工语音模型的主力规格兼顾对话质量与实时推理速度。Q许可如何代码为 MIT 许可见 LICENSE-MIT模型权重采用 NVIDIA Open Model 许可商用前请在 Hugging Face 页面确认协议。 写在最后从 Moshi 到 PersonaPlexNVIDIA 用一次微调就把能聊天的全双工语音模型升级为能扮演任何人设的全双工语音模型文本控角色、音频控音色再加上流式架构带来的毫秒级打断响应。如果你是 AI 语音方向的新手建议按本文顺序先看架构原理 → Docker 一键部署 → 换三个提示词体验人设差异半天时间即可上手这套开源方案。【免费下载链接】personaplexPersonaPlex code.项目地址: https://gitcode.com/GitHub_Trending/pe/personaplex创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 从Moshi到PersonaPlex：NVIDIA全双工语音模型7b演进全解析
从Moshi到PersonaPlexNVIDIA全双工语音模型7b演进全解析【免费下载链接】personaplexPersonaPlex code.项目地址: https://gitcode.com/GitHub_Trending/pe/personaplexPersonaPlex 是 NVIDIA 推出的7B 参数全双工语音模型基于 Moshi 架构微调而来支持实时低延迟语音对话。它让你通过文本角色提示和声音克隆提示自由定义 AI 的人设与音色实现边听边说、可被打断的自然对话体验。本文带你从架构、部署到调参一次看懂这套全双工语音模型。️ 什么是全双工语音对话传统语音助手是半双工的你说完 → 等它处理 → 它再回答像对讲机一样轮流发言中间有 1~2 秒的机械停顿。**全双工Full-Duplex**则像真人通话能力半双工传统全双工PersonaPlex边听边说❌ 轮流进行✅ 同时进行用户打断❌ 需等回复结束✅ 随时打断延迟秒级毫秒级流式输出语气/音色固定可自定义 核心关键词全双工语音模型、实时语音对话、语音克隆、角色控制——这正是 Moshi 系列模型的核心卖点而 PersonaPlex 在此基础上增加了人设 音色双维度控制。 从 Moshi 到 PersonaPlex7b 演进了什么Moshi 是由 Kyutai 开源的全双工语音对话架构底座为 Helium 大语言模型。NVIDIA 在其架构与权重基础上微调推出personaplex-7b-v17B 参数带来三大升级 角色控制Role Control用一段文本提示词即可定义 AI 的身份——客服、老师、宇航员甚至一个正在处理火星反应堆故障的宇航员 音色控制Voice Conditioning通过预置的声音嵌入NATF0~NATF3、NATM0~NATM3、VARF/VARM 系列切换不同自然度与多样性的音色 泛化能力得益于 Helium 底座的广泛训练语料模型对训练分布外的提示词仍能给出合理、有趣的对话。项目代码即 Moshi 代码库的 Fork服务端入口在 moshi/moshi/server.py模型语言模型核心在 moshi/moshi/models/lm.py。️ 架构拆解Depth Temporal 双层 Transformer架构图展示了数据从输入到生成的完整链路自下而上分为三层Mimi 神经音频编解码器把用户麦克风输入和待生成的语音压缩成离散 token 流12.5 Hz 帧率每帧 8 个 token 流定义见 moshi/moshi/models/lm.py 中的FRAME_RATE_HZ与AUDIO_TOKENS_PER_STREAMTemporal Transformer时间维沿时间轴建模捕捉对话的节奏与上下文Depth Transformer深度维在每一帧内逐层解码 8 条音频 token 流实现自回归式语音生成。输入通道包含四路User Audio你的麦克风、Agent Audio模型输出的语音、Agent Text模型说的话的文本转录、以及Hybrid System Prompt系统提示 声音提示 语音提示混合拼接。全双工的精髓在于当用户开口时模型会实时将麦克风流拼入输入从而做到边听边说、随叫随停。量化与压缩模块VQ 向量量化、SEANet 神经网络声码器位于 moshi/moshi/quantization/ 与 moshi/moshi/modules/seanet.py负责音频与 token 之间的双向转换。⚡ 一键部署从安装到开口说话第一步准备环境并安装先安装 Opus 音频编码库再安装本项目# Ubuntu/Debian sudo apt install libopus-dev # 获取代码 git clone https://gitcode.com/GitHub_Trending/pe/personaplex cd personaplex # 安装 Python 服务端见 moshi/pyproject.toml要求 Python 3.10 pip install moshi/.⚠️ Blackwell 架构 GPU 需额外安装 CUDA 13.0 版 PyTorch显存不足时启动服务加上--cpu-offload参数即可把模型层卸载到 CPU。第二步接受模型授权在 Hugging Face 上接受personaplex-7b-v1的模型协议然后配置环境变量export HF_TOKEN你的HF令牌第三步启动服务器打开浏览器SSL_DIR$(mktemp -d); python -m moshi.server --ssl $SSL_DIR浏览器访问localhost:8998即可进入 Web UI选择音色、输入角色提示词对着麦克风开口对话。前端基于 React WebSocket 构建消息协议handshake / audio / text / control定义在 client/src/protocol/types.ts浏览器端通过 Opus 编码器client/public/assets/decoderWorker.min.wasm实时解码模型返回的音频流。Docker 懒人方案有 NVIDIA GPU 的机器可以直接用 Docker Compose 一键拉起docker compose up --build部署描述在 docker-compose.yaml映射 8998 端口并预留 1 张 GPU镜像构建脚本见 Dockerfile基于 NVIDIA CUDA 12.4 镜像。 角色提示词指南3 类人设任你选模型在合成客服对话 真实语料Fisher 语料库上训练提示词风格直接影响对话质量1️⃣ 智慧助手默认角色You are a wise and friendly teacher. Answer questions or provide advice in a clear and engaging way.2️⃣ 客服角色支持业务信息注入完整示例见 assets/test/prompt_service.txtYou work for AeroRentals Pro which is a drone rental company and your name is Tomaz Novak. Information: PhoenixDrone X ($65/4 hours), SpectraDrone 9 ($95/4 hours). Deposit required: $150.3️⃣ 闲聊角色基于真实对话语料训练You enjoy having a good conversation. Have a casual discussion about eating at home versus dining out. 出格玩法官方在 Web UI 内置了一个火星宇航员提示词——让 AI 扮演正在处理火星反应堆熔堆故障的宇航员紧急向你求助。这就是 7B 底座的泛化能力训练分布之外的场景也能聊出花来。音色怎么选系列标签特点Natural女NATF0 ~ NATF3自然、口语化Natural男NATM0 ~ NATM3自然、口语化Variety女VARF0 ~ VARF4音色多样Variety男VARM0 ~ VARM4音色多样 离线评测不连麦也能跑不想开麦克风离线脚本可以把一个 wav 文件喂给模型流式处理后输出同样时长的回复 wav适合做评测与对比源码moshi/moshi/offline.pyHF_TOKENTOKEN python -m moshi.offline \ --voice-prompt NATF2.pt \ --input-wav assets/test/input_assistant.wav \ --seed 42424242 \ --output-wav output.wav --output-text output.json--voice-prompt指定音色--text-prompt指定角色输出同时包含音频与文本转录方便评估用户打断、停顿处理、平滑轮替等全双工能力指标。 项目结构速览README.md安装、提示词指南与音色列表本文大部分内容的出处moshi/Python 服务端moshi/moshi/server.pyWebSocket 实时服务入口moshi/moshi/offline.py离线批量评测moshi/moshi/models/LM 语言模型与 Mimi 编解码器加载moshi/moshi/modules/流式 Transformer、卷积、注意力等底层模块client/React 前端 Web UIVite Tailwindclient/src/pages/Conversation/对话页面、音频可视化、控制面板client/src/decoder/decoderWorker.ts浏览器端 WebAssembly 音频解码 Workerdocker-compose.yamlGPU 容器化部署❓ 常见问题Q没有显卡能跑吗可以。离线评测支持纯 CPU 安装 PyTorch实时服务建议至少配备一张显存 ≥16GB 的 GPU或使用--cpu-offload。Q为什么强调7B7B 指底座 Helium 语言模型的参数量级是 Moshi 系列全双工语音模型的主力规格兼顾对话质量与实时推理速度。Q许可如何代码为 MIT 许可见 LICENSE-MIT模型权重采用 NVIDIA Open Model 许可商用前请在 Hugging Face 页面确认协议。 写在最后从 Moshi 到 PersonaPlexNVIDIA 用一次微调就把能聊天的全双工语音模型升级为能扮演任何人设的全双工语音模型文本控角色、音频控音色再加上流式架构带来的毫秒级打断响应。如果你是 AI 语音方向的新手建议按本文顺序先看架构原理 → Docker 一键部署 → 换三个提示词体验人设差异半天时间即可上手这套开源方案。【免费下载链接】personaplexPersonaPlex code.项目地址: https://gitcode.com/GitHub_Trending/pe/personaplex创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考