1. 为什么要在 k8s 里单独折腾 ingress 七层转发很多刚接触 k8s 的朋友会有一个疑问Service 不是已经能把流量送进 Pod 了吗为什么还要再搞一个 ingress答案藏在「四层」和「七层」这两个词里。Service 做的是四层转发它只认 IP 和端口不关心你请求的是哪个域名、哪个 URL 路径。而 ingress 做的是七层转发它能看懂 HTTP/HTTPS 请求里的 Host 头和 path然后按规则把api.example.com/v1和web.example.com/static分发给不同的后端 Service。这个能力在实际项目里非常关键。比如你集群里跑着好几个微服务对外只想暴露一个入口 IP靠域名和路径来区分这时候 ingress 就是那个「集群入口的门卫」。它本身是 k8s 的一个 API 对象用 YAML 描述转发规则但真正干活的是一组叫 ingress-controller 的 Pod最常见的就是 ingress-nginx。那这跟 TaoToken 有什么关系当你的集群里跑着需要调用大模型的业务比如客服机器人、代码助手、内容生成服务这些业务往往要访问统一的 API 通道。TaoToken 提供的就是这样一个统一 Key / API 通道把模型调用收敛到一个入口。把 ingress 七层转发和 TaoToken 通道接起来你就能做到外部请求按域名进集群集群内部再通过统一通道出去调模型整条链路清晰可控。这篇就带你从零把这条链路搭起来并验证生效。2. TaoToken 前置准备拿到统一 Key 和通道地址在动 ingress 之前先把 TaoToken 这边的「通行证」准备好。你需要的是一个 API Key 和对应的通道地址后面业务 Pod 里的环境变量、以及我们用来验证连通性的 curl 都会用到它。第一步打开官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册并登录。登录后在控制台里找到 API Keys 管理页面新建一个 Key。建议按业务或环境命名比如k8s-ingress-demo方便以后排查是谁在用。第二步记下通道的 Base URL。TaoToken 的 API 入口是 https://taotoken.net/api 注意这个地址后面拼接具体路径时不要再带多余的斜杠。很多接入失败就是因为 Base URL 写成了带尾斜杠的形式导致最终请求路径变成双斜杠。第三步如果你打算长期在集群里跑编码类或 Agent 类负载可以顺手看一下 Coding Plan 的入口它更适合高频、长会话的场景如果只是临时验证模型通不通用模型对话页面直接试一句就行。把 Key 和 Base URL 存好我们马上进入 k8s 侧。注意API Key 属于敏感凭证不要直接硬编码进镜像或提交到 Git。下面演示会用 Secret 来管理这是生产环境的基本要求。3. 可复制配置ingress-nginx 骨架与 TaoToken 通道参数这一节给你两套骨架一套是 ingress-nginx 的部署与转发规则一套是业务侧访问 TaoToken 的配置。先看 ingress-nginx 这边。假设你已经用官方 manifest 部署好了 ingress-nginxDaemonSet hostNetwork 或 Deployment NodePort 都行本文以 NodePort 为例方便本地验证。核心是定义一个 Ingress 资源把外部域名映射到集群内的 Service。下面是一个最小可用的七层转发规则apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: taotoken-demo-ingress namespace: default annotations: nginx.ingress.kubernetes.io/rewrite-target: / spec: ingressClassName: nginx rules: - host: demo.taotoken.local http: paths: - path: /api pathType: Prefix backend: service: name: taotoken-gateway-svc port: number: 8080这段规则的意思是凡是 Host 为demo.taotoken.local且路径以/api开头的请求都会被 ingress-nginx 转发到taotoken-gateway-svc这个 Service 的 8080 端口。pathType: Prefix表示前缀匹配/api/v1/chat这类请求都能命中。接下来是业务侧访问 TaoToken 的配置骨架。很多网关类服务会用config.toml或settings.json来管理上游地址下面给两个示例。config.toml骨架[upstream] name taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout_seconds 60 [upstream.retry] max_attempts 3 backoff_ms 500settings.json骨架{ taotoken: { baseUrl: https://taotoken.net/api, apiKeyEnv: TAOTOKEN_API_KEY, timeout: 60000, headers: { Content-Type: application/json } } }注意两个文件里都没有把 Key 明文写进去而是引用环境变量TAOTOKEN_API_KEY。这个环境变量通过 k8s Secret 注入创建方式如下kubectl create secret generic taotoken-secret \ --from-literalTAOTOKEN_API_KEY你的真实Key然后在 Deployment 里引用env: - name: TAOTOKEN_API_KEY valueFrom: secretKeyRef: name: taotoken-secret key: TAOTOKEN_API_KEY这样 Key 就不会出现在镜像和 YAML 明文里轮换时也只需要更新 Secret。4. 验证请求curl 打通七层路由与 API 通道配置写完了最关键的一步是验证。分两层验证先确认 ingress 七层转发生效再确认业务能通过 TaoToken 通道调通模型。先拿到 ingress-nginx 的 NodePortkubectl get svc -n ingress-nginx ingress-nginx-controller输出里会看到一个 30000-32767 区间的端口假设是31234。因为我们的 Ingress 用的是域名匹配curl 时要手动指定 Host 头或者本地配 hosts。用--resolve最省事curl -i --resolve demo.taotoken.local:31234:127.0.0.1 \ http://demo.taotoken.local:31234/api/health如果后端 Service 有健康检查接口你会看到HTTP/1.1 200并且响应头里带Server: nginx。这说明七层转发链路是通的请求进了 ingress-nginx按 Host 和 path 匹配到了规则转发给了后端 Service。接着验证 TaoToken 通道。在集群内起一个临时 Pod或者直接在能访问外网的节点上执行curl -i https://taotoken.net/api/v1/models \ -H Authorization: Bearer $TAOTOKEN_API_KEY返回200并列出可用模型说明 Key 和通道地址都没问题。如果你想直接验证对话能力可以发一条最小请求curl https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: gpt-4o-mini, messages: [{role: user, content: ping}] }看到正常的 JSON 响应整条链路就算打通了。实测下来最容易出问题的不是 ingress 规则本身而是 Key 的注入和 Base URL 的拼接所以这两步一定要单独 curl 验证。5. 本篇常见错排查报错一curl 返回 404但后端 Pod 是好的。大概率是 Ingress 的 path 和实际请求路径不匹配。比如你写的是/api但请求发的是/v1/chat前缀对不上自然 404。检查pathType和path是否覆盖了真实路径必要时加rewrite-target注解做路径重写。报错二返回 503 Service Temporarily Unavailable。这是 ingress-nginx 找不到后端 Endpoints 的典型信号。先kubectl get endpoints taotoken-gateway-svc如果 Endpoints 为空说明 Service 的 selector 没匹配到任何 Pod。检查 Deployment 的 labels 和 Service 的 selector 是否一致这是最高频的低级错误。报错三TaoToken 返回 401。Key 没注入成功或者环境变量名写错了。进 Pod 里env | grep TAOTOKEN确认一下。如果是 Secret 更新后 Pod 没重启环境变量不会自动刷新需要kubectl rollout restart deployment。报错四请求超时。模型调用本身耗时较长默认 30 秒可能不够。在config.toml或settings.json里把 timeout 调到 60 秒以上同时检查 ingress-nginx 的proxy-read-timeout注解默认值也可能偏小。报错五域名解析不到。本地验证时忘了配 hosts 或--resolve请求根本没到 ingress。用curl -v看连接目标 IP 是不是你预期的节点地址。6. 把通道接进你的日常开发流链路验证通过之后接下来就是把它用起来。如果你主要在集群里跑编码类或 Agent 类负载建议直接看 Coding Plan 的接入方式它针对长会话和高频调用做了优化比按次调用更省心。日常调试模型参数、对比不同模型输出用模型对话页面最快改一句 prompt 就能看到结果。需要管理多个 Key、按团队分配额度时控制台里的 API Keys 页面可以随时新建和吊销。而所有接入细节、参数说明、错误码对照都在接入文档里遇到不确定的字段先去那里查一遍比在网上翻零散帖子靠谱。最后留一个我踩过的坑ingress 规则改完后别急着怀疑配置先kubectl describe ingress看一眼事件再kubectl logs看 ingress-nginx 的访问日志请求到底有没有进来、匹配到了哪条规则日志里写得清清楚楚。把这两步养成习惯七层转发的问题基本都能自己定位。