Fay数字人框架零基础上手指南从版本选择到本地跑通【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/FayFay数字人框架是一个开源的agent框架——agent可以理解为能自己决定下一步做什么的程序——它把2.5D/3D数字人可跑在PC、移动端、网页上与大语言模型负责理解和生成文字的AI模型支持OpenAI兼容接口、DeepSeek等以及业务系统连接起来。如果你要做一个能听、能说、能执行任务的虚拟形象又不想从零搭对话链路这个项目的三个版本基本覆盖了从直播带货到个人助理的常见需求适合没有数字人开发经验的新手和普通开发者有Python基础即可上手。待补充图片Fay数字人框架整体架构示意图先定场景三个版本分别适合谁Fay以分支形式提供三个版本选错分支会白装一套环境所以先对照下表确认自己要做什么版本分支名主要能力适合场景带货完整版fay-sales-edition弹幕监听、情感分析、违禁词过滤电商直播、虚拟销售员助理完整版fay-assistant-edition语音交互、任务执行、知识库问答个人助理、智能客服agent版fay-agent-edition自主决策、工具调用、主动联系智能代理、自动化办公带货完整版面向线上线下的销售场景监听B站、微信视频号的弹幕直播间观众的实时评论结合百度情感分析判断观众情绪对提问做产品推荐。助理完整版是标准的人机交互数字人助理支持用语音命令它开关设备也能查日程、接知识库做问答。agent版不等你开口它能自主决策、调用工具网页检索器、python执行器、本地知识库查询还能主动给主人发消息。一句话选择原则要卖选带货版要用选助理版要托付任务选agent版。克隆仓库并切到目标分支git clone https://gitcode.com/GitHub_Trending/fay/Fay cd Fay git checkout fay-assistant-edition这里以助理版为例做带货或agent场景就把分支名换成fay-sales-edition或fay-agent-edition。三个版本不在同一目录而是各占一个分支clone之后用checkout切换即可。切换完先通读该分支内的README依赖清单、安装顺序、配置项的字段名都以分支内说明为准主分支README主要承载更新日志。按用途准备机器硬件与系统要求用途最低配置推荐配置说明开发测试4核CPU8GB内存无GPU8核CPU16GB内存4GB显存GPUCPU即可起步验证对话链路够用生产部署8核CPU16GB内存8GB显存GPU16核CPU32GB内存16GB显存GPU语音链路全开时响应速度依赖显存以上为参考配置实际以所选分支的依赖要求为准。语音链路中funasr负责把说话转成文字TTS负责把文字转成语音这两步加上模型推理都会占资源本地纯CPU跑通后想加快速度优先补显存。安装依赖并配好关键参数进入分支目录后安装Python依赖pip install -r requirements.txt核心配置文件位于项目根目录需要重点确认的有这么几项字段名以分支内实际配置为准gpt模型配置与gpt代理填模型名与base_urlDeepSeek、moonshot等OpenAI兼容接口都从这里接入代理默认留空。2024.07.10已修复部分base_url为空时的报错遇到该报错先升级代码再排查。TTS引擎可选azure、阿里云tts2024.07.10起三个版本都新增本地gptsovits语音合成2024.06.26起tts配置已分离改语音参数不会动到模型配置。语音识别默认funasr可配置热词识别2024.05.22新增把行业词汇配成热词后识别更准其稳定性在2月至3月的多个版本中持续修复遇到识别断连先升级代码。情感分析带货版、助理版走百度情感分析密钥留空则自动关闭该能力不强制依赖。知识库助理版与agent版可接本地PDF知识库做问答2024.06.26起知识库工具分离使用需自行在工具内配置。本地启动并确认跑通以助理版为例python main_assistant.py启动成功的标志是终端打印出服务地址与端口常见为http://localhost:5000浏览器打开后出现Web界面输入文字或对着麦克风说话数字人给出文字与语音回应整条链路就算跑通了。带货版与agent版的入口脚本名不同以各自分支README为准。第一次跑通后建议记录一遍语音→识别→模型→合成各环节的耗时后续调优才有对比基准。数字人画面从哪里来可选接入Fay负责大脑识别、理解、决策、合成画面渲染交给外部引擎。可选的渲染端包括UE5数字人工程、metahuman-stream2024.05.22提供对接示例2024.07.10修复了连接不稳定问题以及曾支持的live2d网页端。若只想先验证对话能力可不接画面直接在Web界面联调画面后补。待补充图片Fay数字人框架与UE5数字人渲染引擎的接入示意图落地参考直播带货与智能客服怎么做直播卖货带货版把带货版挂到B站或微信视频号的直播间实时监听弹幕并用百度情感分析判断观众情绪对提问做产品推荐弹幕先过格式过滤与违规检查配合本地违禁词配置2024.06.19新增降低口播翻车风险。门店/企业智能客服助理版用助理版做前台接待或售后答疑语音命令可控制设备如开关灯、空调知识问答走本地PDF知识库文字回复也可同步语音输出适配无屏触屏终端。教育培训助理版复用把课件、讲义灌进知识库同一套助理版即可做虚拟教师答疑再把学科词配成funasr热词学生口语的识别率会更稳。⚠️ 装不上、跑不动时的排查清单依赖冲突三个版本共用一台机器时用虚拟环境隔离依赖勿混装。模型加载失败核对配置里的模型路径与base_url代理项默认应为空旧代码遇空base_url报错时先升级到2024.07.10之后的版本。端口占用修改配置文件中的端口号后重启服务。响应慢或识别不准升级显存、换更小的模型更换音频输入设备、提高音量后重测funasr识别。近期更新速览2024.07.10三个版本统一新增gptsovits语音合成修复gpt代理空base_url报错带货版做页面UI优化。2024.07.03新增阿里云tts对接修复tts前几个字不读的问题优化agent调用工具的递归逻辑。2024.06.26agent版新增azure tts与moonshot接入tts配置分离知识库工具改为自行配置。文档与社区入口项目总入口仓库根目录README.md三个版本的分支名与框架文档链接飞书知识库都在文件开头。各版本的配置说明与对接教程如metahuman-stream对接以所选分支内的文档为准。遇到问题在代码托管平台的对应分支下提交issue写清分支名、运行环境系统、显卡、Python版本与完整报错定位会更快。【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Fay数字人框架零基础上手指南：从版本选择到本地跑通
Fay数字人框架零基础上手指南从版本选择到本地跑通【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/FayFay数字人框架是一个开源的agent框架——agent可以理解为能自己决定下一步做什么的程序——它把2.5D/3D数字人可跑在PC、移动端、网页上与大语言模型负责理解和生成文字的AI模型支持OpenAI兼容接口、DeepSeek等以及业务系统连接起来。如果你要做一个能听、能说、能执行任务的虚拟形象又不想从零搭对话链路这个项目的三个版本基本覆盖了从直播带货到个人助理的常见需求适合没有数字人开发经验的新手和普通开发者有Python基础即可上手。待补充图片Fay数字人框架整体架构示意图先定场景三个版本分别适合谁Fay以分支形式提供三个版本选错分支会白装一套环境所以先对照下表确认自己要做什么版本分支名主要能力适合场景带货完整版fay-sales-edition弹幕监听、情感分析、违禁词过滤电商直播、虚拟销售员助理完整版fay-assistant-edition语音交互、任务执行、知识库问答个人助理、智能客服agent版fay-agent-edition自主决策、工具调用、主动联系智能代理、自动化办公带货完整版面向线上线下的销售场景监听B站、微信视频号的弹幕直播间观众的实时评论结合百度情感分析判断观众情绪对提问做产品推荐。助理完整版是标准的人机交互数字人助理支持用语音命令它开关设备也能查日程、接知识库做问答。agent版不等你开口它能自主决策、调用工具网页检索器、python执行器、本地知识库查询还能主动给主人发消息。一句话选择原则要卖选带货版要用选助理版要托付任务选agent版。克隆仓库并切到目标分支git clone https://gitcode.com/GitHub_Trending/fay/Fay cd Fay git checkout fay-assistant-edition这里以助理版为例做带货或agent场景就把分支名换成fay-sales-edition或fay-agent-edition。三个版本不在同一目录而是各占一个分支clone之后用checkout切换即可。切换完先通读该分支内的README依赖清单、安装顺序、配置项的字段名都以分支内说明为准主分支README主要承载更新日志。按用途准备机器硬件与系统要求用途最低配置推荐配置说明开发测试4核CPU8GB内存无GPU8核CPU16GB内存4GB显存GPUCPU即可起步验证对话链路够用生产部署8核CPU16GB内存8GB显存GPU16核CPU32GB内存16GB显存GPU语音链路全开时响应速度依赖显存以上为参考配置实际以所选分支的依赖要求为准。语音链路中funasr负责把说话转成文字TTS负责把文字转成语音这两步加上模型推理都会占资源本地纯CPU跑通后想加快速度优先补显存。安装依赖并配好关键参数进入分支目录后安装Python依赖pip install -r requirements.txt核心配置文件位于项目根目录需要重点确认的有这么几项字段名以分支内实际配置为准gpt模型配置与gpt代理填模型名与base_urlDeepSeek、moonshot等OpenAI兼容接口都从这里接入代理默认留空。2024.07.10已修复部分base_url为空时的报错遇到该报错先升级代码再排查。TTS引擎可选azure、阿里云tts2024.07.10起三个版本都新增本地gptsovits语音合成2024.06.26起tts配置已分离改语音参数不会动到模型配置。语音识别默认funasr可配置热词识别2024.05.22新增把行业词汇配成热词后识别更准其稳定性在2月至3月的多个版本中持续修复遇到识别断连先升级代码。情感分析带货版、助理版走百度情感分析密钥留空则自动关闭该能力不强制依赖。知识库助理版与agent版可接本地PDF知识库做问答2024.06.26起知识库工具分离使用需自行在工具内配置。本地启动并确认跑通以助理版为例python main_assistant.py启动成功的标志是终端打印出服务地址与端口常见为http://localhost:5000浏览器打开后出现Web界面输入文字或对着麦克风说话数字人给出文字与语音回应整条链路就算跑通了。带货版与agent版的入口脚本名不同以各自分支README为准。第一次跑通后建议记录一遍语音→识别→模型→合成各环节的耗时后续调优才有对比基准。数字人画面从哪里来可选接入Fay负责大脑识别、理解、决策、合成画面渲染交给外部引擎。可选的渲染端包括UE5数字人工程、metahuman-stream2024.05.22提供对接示例2024.07.10修复了连接不稳定问题以及曾支持的live2d网页端。若只想先验证对话能力可不接画面直接在Web界面联调画面后补。待补充图片Fay数字人框架与UE5数字人渲染引擎的接入示意图落地参考直播带货与智能客服怎么做直播卖货带货版把带货版挂到B站或微信视频号的直播间实时监听弹幕并用百度情感分析判断观众情绪对提问做产品推荐弹幕先过格式过滤与违规检查配合本地违禁词配置2024.06.19新增降低口播翻车风险。门店/企业智能客服助理版用助理版做前台接待或售后答疑语音命令可控制设备如开关灯、空调知识问答走本地PDF知识库文字回复也可同步语音输出适配无屏触屏终端。教育培训助理版复用把课件、讲义灌进知识库同一套助理版即可做虚拟教师答疑再把学科词配成funasr热词学生口语的识别率会更稳。⚠️ 装不上、跑不动时的排查清单依赖冲突三个版本共用一台机器时用虚拟环境隔离依赖勿混装。模型加载失败核对配置里的模型路径与base_url代理项默认应为空旧代码遇空base_url报错时先升级到2024.07.10之后的版本。端口占用修改配置文件中的端口号后重启服务。响应慢或识别不准升级显存、换更小的模型更换音频输入设备、提高音量后重测funasr识别。近期更新速览2024.07.10三个版本统一新增gptsovits语音合成修复gpt代理空base_url报错带货版做页面UI优化。2024.07.03新增阿里云tts对接修复tts前几个字不读的问题优化agent调用工具的递归逻辑。2024.06.26agent版新增azure tts与moonshot接入tts配置分离知识库工具改为自行配置。文档与社区入口项目总入口仓库根目录README.md三个版本的分支名与框架文档链接飞书知识库都在文件开头。各版本的配置说明与对接教程如metahuman-stream对接以所选分支内的文档为准。遇到问题在代码托管平台的对应分支下提交issue写清分支名、运行环境系统、显卡、Python版本与完整报错定位会更快。【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考