3步跑通Omi让AI看见你的屏幕并记住你说过什么【免费下载链接】FriendAI that sees your screen, listens to your conversations and tells you what to do项目地址: https://gitcode.com/GitHub_Trending/fr/FriendOmi 是一个开源的 AI 穿戴设备项目它把你的屏幕内容和日常对话实时转写成文字自动生成摘要和待办再提供一个记得你看过和听过的一切的 AI 聊天。它同时覆盖桌面、手机和穿戴硬件适合想动手改造 AI 助手行为、或者想搭一套本地开发环境的开发者。什么时候需要它开会、看资料之后脑子就空了Omi 的 Listen 管线会把对话转写、分角色然后落成摘要和行动项不用自己回头翻录像。想换一个记得上下文的 AI 聊天普通聊天助手每次都要重新解释背景Omi 的对话引擎读的是它自己积累的记忆你问上周那个事后来怎么样了它能接住。想自己做硬件侧的 AI 应用项目把硬件omi/firmware/、移动端app/、桌面端desktop/和后端全部开源你能看到一条从麦克风到回答的完整链路而不只是一个 App。最短路径跑起来三条路线选你手边有的设备macOS最快克隆仓库后进入desktop/macos目录执行git clone https://gitcode.com/GitHub_Trending/fr/Friend cd Friend/desktop/macos ./run.sh --yolorun.sh --yolo一条命令完成三件事编译 macOS 客户端、连上云端后端、启动应用。不需要本地配环境文件、不需要自己的 API Key。前置要求是 macOS 14 以上、装好 Xcode 和 Node.js。Windows进入desktop/windows目录执行npm install把.env.example复制为.env再npm run dev即可从源码启动配置直接用的仓库自带的公开默认值。手机 App先起本地后端make dev-init建 Python 虚拟环境make dev-up拉起模拟器和 API再到app/目录执行bash setup.sh ios或bash setup.sh android。这一步做的事就两件按目标平台装 Flutter 依赖、把 App 指向本地 8000 端口的后端。如果你只是要维护代码而不着急跑 App仓库根目录的make setup会装好 Git 钩子和后端检查所需的 Python 环境手机/桌面运行环境留给你之后按需开启。改哪里动哪里想让 AI 助手的说话方式和行为变掉改 plugins/instructions/ 下的配置。里面按场景分好了文件夹mentor_01、reflect、bookwatch各自是一整套提示词和设定照着一个改就是新的助手人格。想改手机端的界面和业务逻辑进 app/lib/pages/放页面、providers/放状态、services/放和设备及后端通信的服务改动前先翻一眼 app/README.md 里的平台要求。想动后端的接口或数据FastAPI 的路由都在backend/routers/数据存储层在backend/database/语音链路听写、推送、VAD、说话人分离拆成了独立的子服务目录改哪个环节看目录名就知道。想改桌面端macOS 客户端在 desktop/macos/Windows 端在desktop/windows/两者都是独立工程互不影响。踩坑与排错现象手机 App 启动了但页面没数据、一直转圈。原因app/setup.sh只负责编译和安装它假设本地后端已经在跑但并不会帮你启动。 解法先回仓库根目录执行make dev-init和make dev-up用make dev-status确认后端起来了再装 App。现象make dev-init建完环境后后端起不来。原因后端锁定 Python 3.113.12 及以上不行另外模拟环境还需要 Java 和firebase-toolsnpx可代劳。 解法把python3指到 3.11 版本再建虚拟环境缺哪个依赖make dev-up会直接点名照着补即可。端口和预置账号的细节在 backend/docs/runbooks/local-emulator-manual-qa.md 里有完整说明。现象iPhone 真机上用flutter run装完打不开首页白屏或闪退。原因debug 构建是 JIT 模式iOS 14 不允许工具链在真机上直接拉起 JIT 虚拟机引擎初始化返回空值插件一启动就崩。 解法用 AOT 构建绕过执行OMI_MOBILE_BUILD_MODEprofile bash setup.sh ios代价是失去热重载。现象App 装了但连不上设备。原因连接前置条件没满足——iOS 需要在系统设置里打开开发者模式Android 需要打开 USB 调试。 解法在系统设置里把对应开关打开重新插拔设备。再进一步换大模型和语音服务商LLM 走llm_gateway/网关模块路由转写有 Deepgram、Parakeet 等独立服务backend/parakeet/、backend/charts/里有各自的部署清单策略文件在backend/config/stt_provider_policy.py本地没有 Key 时可以直接PROVIDER_MODEoffline make dev-up用假服务商跑全流程。接自己的插件plugins/下已经有 GitHub、Notion、Slack、Linear 等几十个现成插件工程omi-github-app/、omi-notion-app/照一个目录的结构抄一份是最快的上手方式。部署backend/charts/是完整的 Kubernetes/Helm 清单backend/deploy/runtime_env.yaml管运行环境变量app/shorebird.yaml则是移动端的增量发布配置。端到端测试app/e2e/flows/里按 YAML 描述了设备真机走查流程app/scripts/test.sh和backend/test.sh分别是移动端和后端的测试入口改完东西跑一遍再提交。到这里克隆、跑通、改配置三件事都有路走了。Omi 的价值在于把设备采集—语音转写—记忆—对话整条链路摆在开源代码里你不用猜黑盒改哪层就去看哪层的目录。下一步建议从plugins/instructions/里改一个人格开始改完立刻能在聊天里看到效果是体感最直接的起点。【免费下载链接】FriendAI that sees your screen, listens to your conversations and tells you what to do项目地址: https://gitcode.com/GitHub_Trending/fr/Friend创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3步跑通Omi：让AI看见你的屏幕并记住你说过什么
3步跑通Omi让AI看见你的屏幕并记住你说过什么【免费下载链接】FriendAI that sees your screen, listens to your conversations and tells you what to do项目地址: https://gitcode.com/GitHub_Trending/fr/FriendOmi 是一个开源的 AI 穿戴设备项目它把你的屏幕内容和日常对话实时转写成文字自动生成摘要和待办再提供一个记得你看过和听过的一切的 AI 聊天。它同时覆盖桌面、手机和穿戴硬件适合想动手改造 AI 助手行为、或者想搭一套本地开发环境的开发者。什么时候需要它开会、看资料之后脑子就空了Omi 的 Listen 管线会把对话转写、分角色然后落成摘要和行动项不用自己回头翻录像。想换一个记得上下文的 AI 聊天普通聊天助手每次都要重新解释背景Omi 的对话引擎读的是它自己积累的记忆你问上周那个事后来怎么样了它能接住。想自己做硬件侧的 AI 应用项目把硬件omi/firmware/、移动端app/、桌面端desktop/和后端全部开源你能看到一条从麦克风到回答的完整链路而不只是一个 App。最短路径跑起来三条路线选你手边有的设备macOS最快克隆仓库后进入desktop/macos目录执行git clone https://gitcode.com/GitHub_Trending/fr/Friend cd Friend/desktop/macos ./run.sh --yolorun.sh --yolo一条命令完成三件事编译 macOS 客户端、连上云端后端、启动应用。不需要本地配环境文件、不需要自己的 API Key。前置要求是 macOS 14 以上、装好 Xcode 和 Node.js。Windows进入desktop/windows目录执行npm install把.env.example复制为.env再npm run dev即可从源码启动配置直接用的仓库自带的公开默认值。手机 App先起本地后端make dev-init建 Python 虚拟环境make dev-up拉起模拟器和 API再到app/目录执行bash setup.sh ios或bash setup.sh android。这一步做的事就两件按目标平台装 Flutter 依赖、把 App 指向本地 8000 端口的后端。如果你只是要维护代码而不着急跑 App仓库根目录的make setup会装好 Git 钩子和后端检查所需的 Python 环境手机/桌面运行环境留给你之后按需开启。改哪里动哪里想让 AI 助手的说话方式和行为变掉改 plugins/instructions/ 下的配置。里面按场景分好了文件夹mentor_01、reflect、bookwatch各自是一整套提示词和设定照着一个改就是新的助手人格。想改手机端的界面和业务逻辑进 app/lib/pages/放页面、providers/放状态、services/放和设备及后端通信的服务改动前先翻一眼 app/README.md 里的平台要求。想动后端的接口或数据FastAPI 的路由都在backend/routers/数据存储层在backend/database/语音链路听写、推送、VAD、说话人分离拆成了独立的子服务目录改哪个环节看目录名就知道。想改桌面端macOS 客户端在 desktop/macos/Windows 端在desktop/windows/两者都是独立工程互不影响。踩坑与排错现象手机 App 启动了但页面没数据、一直转圈。原因app/setup.sh只负责编译和安装它假设本地后端已经在跑但并不会帮你启动。 解法先回仓库根目录执行make dev-init和make dev-up用make dev-status确认后端起来了再装 App。现象make dev-init建完环境后后端起不来。原因后端锁定 Python 3.113.12 及以上不行另外模拟环境还需要 Java 和firebase-toolsnpx可代劳。 解法把python3指到 3.11 版本再建虚拟环境缺哪个依赖make dev-up会直接点名照着补即可。端口和预置账号的细节在 backend/docs/runbooks/local-emulator-manual-qa.md 里有完整说明。现象iPhone 真机上用flutter run装完打不开首页白屏或闪退。原因debug 构建是 JIT 模式iOS 14 不允许工具链在真机上直接拉起 JIT 虚拟机引擎初始化返回空值插件一启动就崩。 解法用 AOT 构建绕过执行OMI_MOBILE_BUILD_MODEprofile bash setup.sh ios代价是失去热重载。现象App 装了但连不上设备。原因连接前置条件没满足——iOS 需要在系统设置里打开开发者模式Android 需要打开 USB 调试。 解法在系统设置里把对应开关打开重新插拔设备。再进一步换大模型和语音服务商LLM 走llm_gateway/网关模块路由转写有 Deepgram、Parakeet 等独立服务backend/parakeet/、backend/charts/里有各自的部署清单策略文件在backend/config/stt_provider_policy.py本地没有 Key 时可以直接PROVIDER_MODEoffline make dev-up用假服务商跑全流程。接自己的插件plugins/下已经有 GitHub、Notion、Slack、Linear 等几十个现成插件工程omi-github-app/、omi-notion-app/照一个目录的结构抄一份是最快的上手方式。部署backend/charts/是完整的 Kubernetes/Helm 清单backend/deploy/runtime_env.yaml管运行环境变量app/shorebird.yaml则是移动端的增量发布配置。端到端测试app/e2e/flows/里按 YAML 描述了设备真机走查流程app/scripts/test.sh和backend/test.sh分别是移动端和后端的测试入口改完东西跑一遍再提交。到这里克隆、跑通、改配置三件事都有路走了。Omi 的价值在于把设备采集—语音转写—记忆—对话整条链路摆在开源代码里你不用猜黑盒改哪层就去看哪层的目录。下一步建议从plugins/instructions/里改一个人格开始改完立刻能在聊天里看到效果是体感最直接的起点。【免费下载链接】FriendAI that sees your screen, listens to your conversations and tells you what to do项目地址: https://gitcode.com/GitHub_Trending/fr/Friend创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考