Duix Mobile离线运行的实时交互AI数字人移动端SDK3行代码接入【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile做自助终端和车载助手时最头疼的往往不是模型会不会说话而是说完一句屏幕要等多久才有反应。Duix Mobile 是一套实时交互式 AI 数字人 SDK渲染与音频驱动全部在端侧完成官方给出的响应延迟低于 1.5 秒。它不依赖云端也不需要自建流媒体服务接入后手机上的数字人听到声音就会动嘴用户插话时还能直接打断。仓库里附带 4 个公开数字人模型可以直接拿来跑通。它是什么端侧数字人 SDKASR/TTS/LLM 可换成你自己的Duix Mobile 是面向移动设备与嵌入式屏幕的开源 SDK提供 2D 数字人的实时渲染与音频驱动。它把语音链路拆成了标准接口ASR、TTS、LLM 都可以接你自己的服务或第三方服务渲染底层基于 ncnn/onnxruntimeAndroid 走 OpenGL ESiOS 走 Metal。官方为两个平台各提供了一个可直接运行的 demo 工程。核心能力推流式 PCM 驱动音频一出来形象就动起来用户说完一句话TTS 通常是以流式返回音频的。SDK 提供startPush/pushPcm/stopPush三连接口音频格式为 16kHz 单通道 16bit不需要等整段语音合成完毕再播。实际体感是声音刚起嘴型就跟上没有说完卡半拍的违和感。随时打断正在播报时可以直接 stopAudio用户在数字人说话途中插嘴是最常见的真实交互。调用stopAudio()终止当前播报再重新startPush推新音频即可语音开始/结束都有完整的回调事件方便你同步 UI 状态。体感上接近和真人对话不用干等一句说完。动作控制不说话时形象也能打招呼数字人等待、迎宾的时段不能一直僵站着。动作在模型的SpecialAction.json里按区间标注打招呼、挥手等调用startMotion(Greeting, true)播放指定动作或startRandomMotion(true)随机播放。init 成功回调里可以拿到全部可用动作名按需调度。全本地运行断网也能跑政务大厅、银行自助机、地铁里的终端网络条件都不稳定。核心推理链路在设备上跑对网络依赖低数据不出设备对安全要求高的场景比较友好。LLM、ASR、TTS 部分既可自带也可换第三方弱网下照样能用。跑通第一个 demo Android克隆仓库用 Android Studio 打开duix-android/dh_aigc_android把 Gradle JDK 设为 17test模块自带示例 PCM/WAV 音频换形象只需改MainActivity.kt里的modelUrl直接运行test模块能看到数字人播报与动作。iOS进入duix-ios/GJLocalDigitalDemo执行pod install打开GJLocalDigitalDemo.xcworkspace运行GJLocalDigitalDemotargetInfo.plist 已含麦克风权限说明。最小调用Android3 行duix DUIX(context, modelUrl, renderer) { event, msg, info - } duix?.init() // init 成功回调后开始渲染形象 duix?.startMotion(Greeting, true)完整接口与回调说明见 duix-android/dh_aigc_android/README_zh.md 和 duix-ios/GJLocalDigitalDemo/README_zh.md。适配终端与典型场景终端一句话场景手机 / 平板电商带货、教育问答、情感陪伴大屏自助终端政务大厅导览、银行无人值守客服车机车内语音助手边开车边对话资源占用与性能Android数字人预留内存 ≥800MB存储 ≥1GB官方以骁龙 8 Gen 28GB 内存设备为基准机型Android 10 即可运行iOSiPhone 8 及以上、A12 芯片、3GB 内存响应延迟官方定位低于 1.5 秒在满足硬件要求的设备上交互体感接近真人对话节奏。开发者常见误区注意每段startPush到stopPush之间的音频至少要 1 秒32000 字节否则触发不了口型驱动短于 1 秒的片段要用空白帧填充。注意音频必须是 16kHz、单通道、16bit格式不对的直接表现就是不动嘴PCM 会缓存在内存里单次推送不宜过长。容易踩的坑init 失败大概率是模型路径问题——基础配置和模型包必须先下载到本地指定位置CDN 慢的话可以换成自建存储托管模型文件。注意低端机上音频特征提取可能跟不上播放速度SDK 提供setReporter()可以监控帧渲染情况来定位。项目近况SDK 已迭代到 4.x 版本流式音频与打断能力自 2025 年 7 月版本起正式提供当前方向是继续向车机、大屏等多终端形态扩展。Duix Mobile 目前是把离线部署 分钟级集成做起来的移动端数字人 SDK 里比较省事的一个。仓库已开放感兴趣可以直接 clone 体验git clone https://gitcode.com/GitHub_Trending/du/Duix-Mobile【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Duix Mobile：离线运行的实时交互AI数字人移动端SDK，3行代码接入
Duix Mobile离线运行的实时交互AI数字人移动端SDK3行代码接入【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile做自助终端和车载助手时最头疼的往往不是模型会不会说话而是说完一句屏幕要等多久才有反应。Duix Mobile 是一套实时交互式 AI 数字人 SDK渲染与音频驱动全部在端侧完成官方给出的响应延迟低于 1.5 秒。它不依赖云端也不需要自建流媒体服务接入后手机上的数字人听到声音就会动嘴用户插话时还能直接打断。仓库里附带 4 个公开数字人模型可以直接拿来跑通。它是什么端侧数字人 SDKASR/TTS/LLM 可换成你自己的Duix Mobile 是面向移动设备与嵌入式屏幕的开源 SDK提供 2D 数字人的实时渲染与音频驱动。它把语音链路拆成了标准接口ASR、TTS、LLM 都可以接你自己的服务或第三方服务渲染底层基于 ncnn/onnxruntimeAndroid 走 OpenGL ESiOS 走 Metal。官方为两个平台各提供了一个可直接运行的 demo 工程。核心能力推流式 PCM 驱动音频一出来形象就动起来用户说完一句话TTS 通常是以流式返回音频的。SDK 提供startPush/pushPcm/stopPush三连接口音频格式为 16kHz 单通道 16bit不需要等整段语音合成完毕再播。实际体感是声音刚起嘴型就跟上没有说完卡半拍的违和感。随时打断正在播报时可以直接 stopAudio用户在数字人说话途中插嘴是最常见的真实交互。调用stopAudio()终止当前播报再重新startPush推新音频即可语音开始/结束都有完整的回调事件方便你同步 UI 状态。体感上接近和真人对话不用干等一句说完。动作控制不说话时形象也能打招呼数字人等待、迎宾的时段不能一直僵站着。动作在模型的SpecialAction.json里按区间标注打招呼、挥手等调用startMotion(Greeting, true)播放指定动作或startRandomMotion(true)随机播放。init 成功回调里可以拿到全部可用动作名按需调度。全本地运行断网也能跑政务大厅、银行自助机、地铁里的终端网络条件都不稳定。核心推理链路在设备上跑对网络依赖低数据不出设备对安全要求高的场景比较友好。LLM、ASR、TTS 部分既可自带也可换第三方弱网下照样能用。跑通第一个 demo Android克隆仓库用 Android Studio 打开duix-android/dh_aigc_android把 Gradle JDK 设为 17test模块自带示例 PCM/WAV 音频换形象只需改MainActivity.kt里的modelUrl直接运行test模块能看到数字人播报与动作。iOS进入duix-ios/GJLocalDigitalDemo执行pod install打开GJLocalDigitalDemo.xcworkspace运行GJLocalDigitalDemotargetInfo.plist 已含麦克风权限说明。最小调用Android3 行duix DUIX(context, modelUrl, renderer) { event, msg, info - } duix?.init() // init 成功回调后开始渲染形象 duix?.startMotion(Greeting, true)完整接口与回调说明见 duix-android/dh_aigc_android/README_zh.md 和 duix-ios/GJLocalDigitalDemo/README_zh.md。适配终端与典型场景终端一句话场景手机 / 平板电商带货、教育问答、情感陪伴大屏自助终端政务大厅导览、银行无人值守客服车机车内语音助手边开车边对话资源占用与性能Android数字人预留内存 ≥800MB存储 ≥1GB官方以骁龙 8 Gen 28GB 内存设备为基准机型Android 10 即可运行iOSiPhone 8 及以上、A12 芯片、3GB 内存响应延迟官方定位低于 1.5 秒在满足硬件要求的设备上交互体感接近真人对话节奏。开发者常见误区注意每段startPush到stopPush之间的音频至少要 1 秒32000 字节否则触发不了口型驱动短于 1 秒的片段要用空白帧填充。注意音频必须是 16kHz、单通道、16bit格式不对的直接表现就是不动嘴PCM 会缓存在内存里单次推送不宜过长。容易踩的坑init 失败大概率是模型路径问题——基础配置和模型包必须先下载到本地指定位置CDN 慢的话可以换成自建存储托管模型文件。注意低端机上音频特征提取可能跟不上播放速度SDK 提供setReporter()可以监控帧渲染情况来定位。项目近况SDK 已迭代到 4.x 版本流式音频与打断能力自 2025 年 7 月版本起正式提供当前方向是继续向车机、大屏等多终端形态扩展。Duix Mobile 目前是把离线部署 分钟级集成做起来的移动端数字人 SDK 里比较省事的一个。仓库已开放感兴趣可以直接 clone 体验git clone https://gitcode.com/GitHub_Trending/du/Duix-Mobile【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考