ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

Fay 数字人框架实战上手:克隆、选型到部署,讲清带货、助理与 Agent 三版

Fay 数字人框架实战上手:克隆、选型到部署,讲清带货、助理与 Agent 三版 Fay 数字人框架实战上手克隆、选型到部署讲清带货、助理与 Agent 三版【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay直播间的弹幕刚飘过有货吗屏幕里的虚拟导购就该开口接话了。Fay 是一个开源数字人 agent 框架把 2.5D、3D 数字人与 OpenAI 兼容的大语言模型连通再对接弹幕、知识库、设备控制等业务系统。定位与选型Fay 一句话定位给数字人或大语言模型套上能接业务的 agent 外壳按你要它卖货、办事、还是替你盯事来选分支。版本分支名核心能力适用人群带货版fay-sales-edition监听 B 站、微信视频号弹幕情感分析后实时回应、推荐商品直播间运营、虚拟销售助理版fay-assistant-edition语音交互、执行任务、开关设备、查询知识库个人助理、客服、演示环境Agent 版fay-agent-edition自主决策、调用工具、主动联系自动化办公、智能代理三个版本共用同一套模型与 TTS 配置思路差别只在业务编排选错顶多多跑一次依赖安装。第一次跑起来最短路径是克隆仓库 → 进入目标分支 → 按分支清单装依赖3 条命令就能看到效果。环境门槛一句话一台能装 Python 的电脑加上一个大模型接入方式——云端 API 或 vllm 本地部署都可以本地模型还能走 fastchat 降低显存。# 克隆仓库并直接进入助理版分支换版本只需改分支名 git clone -b fay-assistant-edition https://gitcode.com/GitHub_Trending/fay/Fay cd Fay分支内附安装说明与依赖清单装完按分支说明启动网页端即可与数字人对话。带货版、Agent 版同理把分支名换成fay-sales-edition、fay-agent-edition即可。功能按场景讲带货弹幕进来导购接话 用起来是这样开播后 Fay 持续监听弹幕先做格式过滤与违禁词检查再经百度情感分析判断观众情绪最后由数字人开口回应并带出商品。要改的配置集中在三处GPT 兼容接口模型地址、密钥与 gpt 代理、TTS 引擎、弹幕平台参数本地违禁词表与违规处理方式在带货版配置里也单独可调。助理语音唤醒开口办事助理版把数字人当成一个能听会说的终端说开灯它下发设备指令查天气、问资料走 LLM接上 langchain 本地 PDF 知识库还能做 RAG 问答。要改的配置两处就够ASR 侧打开 funasr 热词提升识别命中率模型侧填 LLM 接口OpenAI 兼容、DeepSeek、moonshot、vllm 本地部署都支持。Agent从聊天到替你办事Agent 版没有人问它答的预设数字人自己决定调哪个工具——执行 Python、检索网页、查本地知识库甚至按日程主动发微信消息。要改的主要是工具开关知识库工具需在工具内部自行配置后才生效面板消息、日程等工具按场景启停。配置与进阶三个版本的配置可以归为三类改完基本不用动代码。模型类GPT 兼容接口含 gpt 代理配置可接 DeepSeek、moonshot或用 vllm/fastchat 部署本地模型音频类TTS 支持阿里云、Azure、GPT-SoVITS2024.07 新增ASR 用 funasr支持热词业务类百度情感分析、langchain 本地 PDF 知识库、Agent 工具集。各配置项的具体字段以 README 指向的框架文档为准这里不逐条展开。从本地到生产本地验证用单分支单机跑通即可生产环境建议把渲染、推理、业务三条线拆开部署互不抢资源。# 同一仓库内切换版本无需重新克隆 git checkout fay-sales-edition本地就是克隆 装依赖 启动分支服务一台机器跑全部组件数字人形象可先跑网页 2.5D也支持对接 UE5/MetaHumanmetahuman-stream 已修复连接不稳定问题。带货场景观众多时弹幕监听与情感分析可以独立扩进程推理走 vllm 集群渲染端与推理端分开后延迟和显存都更好控。排障速查 README 更新日志基本把常见的坑都覆盖到了对照版本号升级是最快的解法。现象常见原因解决办法页面白屏早期版本已知问题升级到 2024.04 之后的分支代码TTS 前几个字不读TTS 引擎已知 bug升级到 2024.07.03 之后的版本gpt 代理部分 base_url 报错代理兼容问题升级 2024.07.10 修复版或将代理置空Agent 历史记录为空时报错记录初始化/存储逻辑升级 Agent 版 2024.07.10 修复metahuman-stream 连接不稳定对接层已知问题升级 2024.07.10 修复版语音识别偶发不准通用 ASR 表现开启 funasr 热词识别Fay 的更新节奏很快近期集中在 GPT-SoVITS 接入、Agent 工具调用逻辑优化和多 TTS 引擎对接想深入可以看 README 里的完整更新日志把实际场景问题反馈给社区也是最快的参与方式。【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表