ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

从零跑通AI卖货主播Streamer-Sales:一条命令把数字人直播间搬上线的上手教程

从零跑通AI卖货主播Streamer-Sales:一条命令把数字人直播间搬上线的上手教程 从零跑通AI卖货主播Streamer-Sales一条命令把数字人直播间搬上线的上手教程【免费下载链接】Streamer-SalesStreamer-Sales 销冠 —— 卖货主播 LLM 大模型一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。⭐内含详细的数据生成流程❗ 另外还集成了 LMDeploy 加速推理、RAG检索增强生成 、TTS文字转语音、数字人生成 、 Agent 使用网络查询实时信息、ASR 语音转文字️、Vue 生态搭建前端、FastAPI 搭建后端️、Docker-compose 打包部署项目地址: https://gitcode.com/gh_mirrors/st/Streamer-Sales半夜十二点你刚排完明天直播的品却发现要写 12 条口播文案。这就是 Streamer-Sales 销冠要解决的痛点——一个能根据商品特点、站在激发购买欲角度生成解说词的 AI 卖货主播大模型。它不只是会聊天还能把文字变成语音、把语音变成数字人视频甚至接上快递查询这类实时信息。这篇教程不铺背景直接带你走一遍从空机器到数字人开口说话的全过程。一句话认识它文案、语音、数字人一条龙Streamer-Sales 本质是一套直播带货全家桶底层用 InternLM2 微调出的主播大模型负责写话术再叠加 TTS 文字转语音、MuseTalk 数字人生成、RAG 检索增强和 ASR 语音识别前端是 Vue3 管理后台后端是 FastAPI PostgreSQL。你给它一个商品名和卖点它能在几分钟内产出文案、语音和一段对口型的数字人口播视频全程不需要真人出镜。上图右侧是主播乐乐喵和观众的实时问答。你问这个牙刷有优惠吗它会像真人主播一样接话而不是干巴巴丢链接。原因在于 RAG 让它在每次回答前先检索商品说明书你上传新商品也无需重新训练模型。出发前清单先对照这份清单勾选部署前先把家底盘一遍省得装到一半发现硬件不够。项目最低要求推荐配置显卡RTX 3090 / 24G 显存A100 / 40G 显存内存64G128G磁盘预留 60G模型约 25G500G SSD系统Ubuntu 20.04同上CUDA 11.8软件Python 3.10、Node.js 20、Docker 24conda 23.9关键判断24G 显存用 4bit 模型40G 显存用全量模型。显存不够时优先砍掉 ASR 服务它单独就要占 5.5G。各服务显存占用可直接看README.md里的表格这里给你划重点LLM 全量 16G、4bit 只要 6.5GTTS 2G、数字人 5G、RAG 2G。把 24G 显存的机器所有服务塞满会 OOM务实做法是主模型 4bit 按需开 TTS/数字人。最短路径跑通先别管原理跑起来再说最快的方式是 Docker Compose一条命令拉起全部后端服务git clone https://gitcode.com/gh_mirrors/st/Streamer-Sales cd Streamer-Sales docker build -t streamer-sales:v0.9.0 -f docker/Dockerfile . docker compose up这段命令负责构建镜像并一次性启动 LLM、TTS、数字人、ASR、中台和数据库六个容器。首次启动要下载模型等待时间比较长属于正常现象。不想碰 Docker 的话用deploy.sh分步启动每个服务开一个终端conda env create -f environment.yml conda activate streamer-sales bash deploy.sh tts # 8001 端口文字转语音 bash deploy.sh llm # 23333 端口主播大模型 bash deploy.sh base # 8000 端口中台服务 bash deploy.sh frontend # 前端页面这段命令按依赖顺序启动四个核心服务先 TTS 和 LLM再中台最后前端。前端跑起来后访问http://localhost:5173用默认账号登录进入后台你就能看到直播间配置界面了。登录后台后先创建一个直播间、选主播乐乐喵、上传一个商品图然后点生成文案接下来就是见证奇迹的时刻——文案、语音、数字人视频会依次出现在页面上。实战中的坎过来人踩过的坑一次性告诉你1. 容器之间 connect fail第一次启动时模型还没下完服务之间互相连不上。别慌等模型下载完成后docker compose restart即可。多卡机器记得改compose.yaml里的device_ids指定显卡。2. 24G 显卡 OOM全量 7B 模型要 16G 显存再加 ASR 和数字人必然爆显存。解法用bash deploy.sh llm-4bit换 4bit 模型实测推理速度反而提升约 5 倍Turbomind 加速306 words/s 对 60 words/s。3. 权重下载频繁 timeoutweights/README.md里给了所有模型的源地址和存放路径比如 LLM 权重放weights/llm_weights/HinGwenWoong/streamer-sales-lelemiao-7b。手动下载好放对位置启动时就不会再联网拉取。4. faiss 报No module named faiss.swigfaiss_avx2这是 RAG 向量数据库的经典报错feature_store.py里的fix_system_error方法会自动修复如果手动跑到了这步直接调用它即可。5. 中台服务连不上数据库先按doc/database/README.md搭好 PostgreSQL再设置POSTGRES_PASSWORD环境变量记得和compose.yaml里的123456保持一致否则鉴权直接失败。6. Agent 功能不可用快递查询和天气查询需要自己申请 API Key在启动base服务前设置export DELIVERY_TIME_API_KEY快递EBusinessID,快递api_key export WEATHER_API_KEY和风天气API key这段命令把两个第三方服务的密钥注入环境变量不配置也能跑只是主播回答不了快递到哪了这类实时问题。验收清单怎样算真正跑通了对照下面五条全勾上就是成功后台能登录能创建直播间并选择主播上传商品后能生成完整口播文案文案能转成带感情的语音听不出机器人味数字人视频能跟随文案对口型生成在直播间问发货要多久主播能给出有依据的回答看到上面这张图里生成保存文本三个按钮了吗系统自动写的文案你还能手动改这正好是直播运营最需要的——大模型打底稿人来定终稿。跑通部署只是起点想深入的话可以继续探索两条路一条是数据侧dataset/gen_dataset里放着从通义千问批量生成训练数据到合并 jsonl 的全流程脚本你想自定义一个主播人设就从这里改configs/conversation_cfg.yaml另一条是训练侧用 xtuner 在 InternLM2 上做 QLoRA 微调的配置在finetune_configs/internlm2_chat_7b/下从部署用户升级成模型作者只差这两步。如果你跟着这篇教程成功让数字人开口说了话不妨回项目仓库给 Streamer-Sales 点个 Star让作者知道他的项目帮到了更多人。折腾过程中遇到新坑也欢迎去提 issue 分享你的解法开源项目就是这样一点点变强的。现在去开你的第一场 AI 直播吧。【免费下载链接】Streamer-SalesStreamer-Sales 销冠 —— 卖货主播 LLM 大模型一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。⭐内含详细的数据生成流程❗ 另外还集成了 LMDeploy 加速推理、RAG检索增强生成 、TTS文字转语音、数字人生成 、 Agent 使用网络查询实时信息、ASR 语音转文字️、Vue 生态搭建前端、FastAPI 搭建后端️、Docker-compose 打包部署项目地址: https://gitcode.com/gh_mirrors/st/Streamer-Sales创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表