AI玩家必备告别来回切换API NAS部署Octopus统一管理大模型哈喽小伙伴们好我是Stark-C~话说咱们绝大多数玩NAS的都没少折腾过AI项目吧有一说一在NAS上部署AI项目确实是一个不错的方案因为NAS本身就是7×24小时在线我们在NAS上部署好这些项目之后就相当于拥有了一台随时待命的AI服务器。不过呢说实话现在的AI本质上都是依赖大模型并且像小龙虾、爱马仕这类智能体对Tokens的消耗也是非常夸张的。所以很多用户为了兼顾成本和稳定性都会选择多个模型服务商混搭使用比如日常对话DeepSeek、复杂推理GPT、AI编程Claude。但问题来了这么多模型服务商它们有各自的平台和API Key并且我们在使用的时候它们的连接口协议、模型名称和请求地址都不一样所以我们在需要切换API的时候其实非常的麻烦。所以说如果能有一个项目可以统一管理所有模型、自动切换渠道、统计Token消耗甚至让AI客户端只连接一个接口地址那体验不就一下子就上去了吗巧的是今天要介绍的 『Octopus』正好就是这样一个项目。关于OctopusOctopus是一个免费开源的LLM API 聚合网关AI Gateway项目它负责把多个大模型统一接入、统一管理、统一调度然后再通过一个统一的接口对外提供服务。简单来说有了它我们今后在哪调用AI大模型的时候就不用在多个平台后台之间来回切换也不用反复修改API地址、模型名称和 API Key大大提升了AI大模型的使用效率。项目Github主页地址https://github.com/bestruirui/octopus项目亮点特色引自作者叙述 多渠道聚合 - 支持接入多个 LLM 供应商渠道统一管理 协议互转 - 支持 OpenAI Chat / OpenAI Responses / Anthropic 三种 API 格式互相转换 价格同步 - 自动更新模型价格 模型同步 - 自动与渠道同步可用模型列表省心省力️ 自动故障转移 - 上游渠道发生故障时自动切换到可用渠道 请求全链路实时可视化 - 客户端发起请求后即可在前端实时查看完整请求链路 上游错误拦截 - 拦截所有上游错误避免中断 Agent 任务 数据统计 - 全面的请求统计、Token 消耗、费用追踪 优雅界面 - 简洁美观的 Web 管理面板 轻量单文件部署 - 单个二进制文件即可运行无需额外运行时依赖️ 多数据库支持 - 支持 SQLite、MySQL、PostgreSQLOctopus部署本次部署以极空间NAS为例打开文件管理器在Docker目录下新建一个“octopus的文件夹。然后点击极空间NAS的“Docker”应用点击【Compose】 【新增项目】。在“创建项目”页面自定义项目名称“存储位置”需要手动选择我们前面新建的“octopus”文件夹勾选下方的“所有合规文件夹添加最大读写权限”最后输入以下 Docker Compose 配置信息后点“创建”按钮services: octopus: image: bestrui/octopus container_name: octopus ports: - 8388:8080 # 项目打开端口冒号前面请勿冲突 volumes: - ./data:/app/data restart: unless-stopped network_mode: bridge以上代码需要修改的地方就看我给到的中文注释即可镜像的拉取需要自行解决网络问题粘贴到自己的NAS这边之前建议使用AI工具优化一下以防止格式问题造成的部署失败。项目部署之后可以看到容器正常运行就说明可以使用了Octopus体验项目打开方式没啥特别浏览器输入【IP端口号】的方式即可直接打开首次进入需要输入用户名和密码默认的用户名和密码均为admin。该说不说Octopus的界面确实挺好看有种小清新的即视感。为了以后更安全的使用建议大家进来之后先在设置中国将默认的用户名和密码改成自己的。之后就可以添加大模型进来了。Octopus支持的大模型运营商非常多几乎国内外有点知名度的这里都是可以直接添加包括硅基流动这种一站式综合大模型服务商也是没有问题的那么接下来的操作我就以硅基流动为例。“连接”这里系统已经自动为我们配置好了如无特殊需求这里啥也不动即可。然后在“凭证”这里输入自己硅基流动那边的API Key完成后记得点后面的对勾保存。没什么问题就能在“模型”这里看到硅基流动那边同步过来的所有大模型列列表。没看到就点下“刷新”按钮成功添加了一个大模型服务商。接下来我们来添加一个“分组”其实就是为Octopus这边添加可用大模型。添加起来也很简单首先为该分组命名简单理解为它这边的大模型名称然后将自己需要的大模型添加过来并保存即可。最后就可以创建它这边的统一管理密钥了。回到“设置”点击添加API 密钥。“名称”随意其它的默认即可支持的模型可以看到它默认就是添加我们前面分组中的没啥问题直接点“创建”。因为密钥我们选择默认自动生成的所以需要用的时候我们直接在这里点“复制”按钮即可。怎么使用呢很简单。我这里以WorkBuddy为例在自定义模型里接口地址其实就是Octopus在NAS上的打开链接后面加上“/v1”API Key需要复制Octopus那边生成的API密钥模型名称自然是Octopus分组名称完成之后点“测试连接”没问题就会显示“连接成功”在WorkBuddy对话框下面手动将模型切换成我们自定义过来的Octopus大模型然后对话显示它已经可以正常使用了。并且在Octopus首页可以看到这边已经有数据统计信息了。最后总的来说Octopus绝对是一个能够明显提AI使用体验的项目如果说你手上也同时在用多个运营商大模型不妨试试它说不定它会成为你 NAS AI 生态中最常用、也是最离不开的那个项目。好了以上就是本期分享的全部内容。如果觉得本文对你有所帮助欢迎点赞、收藏和分享我们下期再见谢谢大家~ AI玩家必备！告别来回切换API， NAS部署Octopus，统一管理大模型
AI玩家必备告别来回切换API NAS部署Octopus统一管理大模型哈喽小伙伴们好我是Stark-C~话说咱们绝大多数玩NAS的都没少折腾过AI项目吧有一说一在NAS上部署AI项目确实是一个不错的方案因为NAS本身就是7×24小时在线我们在NAS上部署好这些项目之后就相当于拥有了一台随时待命的AI服务器。不过呢说实话现在的AI本质上都是依赖大模型并且像小龙虾、爱马仕这类智能体对Tokens的消耗也是非常夸张的。所以很多用户为了兼顾成本和稳定性都会选择多个模型服务商混搭使用比如日常对话DeepSeek、复杂推理GPT、AI编程Claude。但问题来了这么多模型服务商它们有各自的平台和API Key并且我们在使用的时候它们的连接口协议、模型名称和请求地址都不一样所以我们在需要切换API的时候其实非常的麻烦。所以说如果能有一个项目可以统一管理所有模型、自动切换渠道、统计Token消耗甚至让AI客户端只连接一个接口地址那体验不就一下子就上去了吗巧的是今天要介绍的 『Octopus』正好就是这样一个项目。关于OctopusOctopus是一个免费开源的LLM API 聚合网关AI Gateway项目它负责把多个大模型统一接入、统一管理、统一调度然后再通过一个统一的接口对外提供服务。简单来说有了它我们今后在哪调用AI大模型的时候就不用在多个平台后台之间来回切换也不用反复修改API地址、模型名称和 API Key大大提升了AI大模型的使用效率。项目Github主页地址https://github.com/bestruirui/octopus项目亮点特色引自作者叙述 多渠道聚合 - 支持接入多个 LLM 供应商渠道统一管理 协议互转 - 支持 OpenAI Chat / OpenAI Responses / Anthropic 三种 API 格式互相转换 价格同步 - 自动更新模型价格 模型同步 - 自动与渠道同步可用模型列表省心省力️ 自动故障转移 - 上游渠道发生故障时自动切换到可用渠道 请求全链路实时可视化 - 客户端发起请求后即可在前端实时查看完整请求链路 上游错误拦截 - 拦截所有上游错误避免中断 Agent 任务 数据统计 - 全面的请求统计、Token 消耗、费用追踪 优雅界面 - 简洁美观的 Web 管理面板 轻量单文件部署 - 单个二进制文件即可运行无需额外运行时依赖️ 多数据库支持 - 支持 SQLite、MySQL、PostgreSQLOctopus部署本次部署以极空间NAS为例打开文件管理器在Docker目录下新建一个“octopus的文件夹。然后点击极空间NAS的“Docker”应用点击【Compose】 【新增项目】。在“创建项目”页面自定义项目名称“存储位置”需要手动选择我们前面新建的“octopus”文件夹勾选下方的“所有合规文件夹添加最大读写权限”最后输入以下 Docker Compose 配置信息后点“创建”按钮services: octopus: image: bestrui/octopus container_name: octopus ports: - 8388:8080 # 项目打开端口冒号前面请勿冲突 volumes: - ./data:/app/data restart: unless-stopped network_mode: bridge以上代码需要修改的地方就看我给到的中文注释即可镜像的拉取需要自行解决网络问题粘贴到自己的NAS这边之前建议使用AI工具优化一下以防止格式问题造成的部署失败。项目部署之后可以看到容器正常运行就说明可以使用了Octopus体验项目打开方式没啥特别浏览器输入【IP端口号】的方式即可直接打开首次进入需要输入用户名和密码默认的用户名和密码均为admin。该说不说Octopus的界面确实挺好看有种小清新的即视感。为了以后更安全的使用建议大家进来之后先在设置中国将默认的用户名和密码改成自己的。之后就可以添加大模型进来了。Octopus支持的大模型运营商非常多几乎国内外有点知名度的这里都是可以直接添加包括硅基流动这种一站式综合大模型服务商也是没有问题的那么接下来的操作我就以硅基流动为例。“连接”这里系统已经自动为我们配置好了如无特殊需求这里啥也不动即可。然后在“凭证”这里输入自己硅基流动那边的API Key完成后记得点后面的对勾保存。没什么问题就能在“模型”这里看到硅基流动那边同步过来的所有大模型列列表。没看到就点下“刷新”按钮成功添加了一个大模型服务商。接下来我们来添加一个“分组”其实就是为Octopus这边添加可用大模型。添加起来也很简单首先为该分组命名简单理解为它这边的大模型名称然后将自己需要的大模型添加过来并保存即可。最后就可以创建它这边的统一管理密钥了。回到“设置”点击添加API 密钥。“名称”随意其它的默认即可支持的模型可以看到它默认就是添加我们前面分组中的没啥问题直接点“创建”。因为密钥我们选择默认自动生成的所以需要用的时候我们直接在这里点“复制”按钮即可。怎么使用呢很简单。我这里以WorkBuddy为例在自定义模型里接口地址其实就是Octopus在NAS上的打开链接后面加上“/v1”API Key需要复制Octopus那边生成的API密钥模型名称自然是Octopus分组名称完成之后点“测试连接”没问题就会显示“连接成功”在WorkBuddy对话框下面手动将模型切换成我们自定义过来的Octopus大模型然后对话显示它已经可以正常使用了。并且在Octopus首页可以看到这边已经有数据统计信息了。最后总的来说Octopus绝对是一个能够明显提AI使用体验的项目如果说你手上也同时在用多个运营商大模型不妨试试它说不定它会成为你 NAS AI 生态中最常用、也是最离不开的那个项目。好了以上就是本期分享的全部内容。如果觉得本文对你有所帮助欢迎点赞、收藏和分享我们下期再见谢谢大家~