告别“打字机”模式TypeSafe 刚发的 Jev 模型为什么能快 200 倍最近做后端开发的同学如果尝试接入过大语言模型 (LLM) API肯定对一个问题深恶痛绝慢。哪怕是做个非常简单的意图识别或者数据分类大模型也得像打字机一样一个一个往外蹦 token。一套流程跑下来几秒钟就过去了。这在动辄要求毫秒级响应的后端接口里简直是灾难。9 月 15 日TypeSafe AI 刚发布了一个叫 Jev 的新模型。我看了下他们的思路挺有意思算是从架构底层把“打字机”给拆了。他们甚至靠这个拿了 DCVC 领投的 4000 万美元种子轮融资。先说结论Jev 不是大语言模型LLM它不生成自然语言文本。现在的 LLM不管内部怎么并行最后输出往往是自回归autoregressive的。也就是根据前面的 token 预测下一个 token循环往复。你要它输出一段 JSON 结果它也是挨个字符算出来的。Jev 走的是完全不同的路线。TypeSafe 把这种模型叫做“系统一”System One模型名字借用了丹尼尔·卡尼曼那本《思考快与慢》里的概念。系统一负责直觉、瞬间反应现在的 o1 这种模型更像系统二负责慢速、深思熟虑的推理。Jev 专门处理“系统一”的任务。它跳过了自回归的文本生成环节直接输出强类型的结构化数据Typed values还会附带概率估算和置信度分数。这玩意儿就是纯粹写给机器和代码看的压根没打算让人去读。少了逐个 token 生成的累赘速度自然起飞。TypeSafe 官方给出的测试数据是在处理系统一任务时Jev 的推理速度比传统 LLM 快 100 到 200 倍。价格也降到了夸张的地步输入 token 大概是 42 美元 / 十亿 token比同级 LLM 便宜了几百倍。这对我们在校生做项目有什么启发以后做 AI Agent 或者智能系统架构别什么活都往一个超大模型里塞。很多时候你的业务逻辑需要的只是一个瞬间的“判断”比如“这是一条恶意评论吗”或者“这个请求该路由给哪个微服务”。用慢吞吞的自回归模型去算这种二分类问题纯粹是资源浪费。以后后端的 AI 架构大概率是分层的大量像 Jev 这样极速的“直觉”分类模型在最前面做拦截和分发遇到真需要复杂逻辑推演的任务再扔给后端的慢速大模型。如果你现在正在搭自己的项目不妨想想里面有没有哪些强依赖 AI 调用的环节其实完全可以剥离出生成文本的负担只保留决策结果