Databricks 编码代理基准测试：开源模型崛起，成本与性能新洞察！

为何选择 Databricks探索方面有面向应用开发者、企业高管、初创企业的内容还有湖仓一体架构和 Databricks AI 研究。客户案例有客户故事。合作伙伴方面包括合作伙伴概览、聚焦、计划云服务提供商应用寻找合作伙伴以及合作伙伴解决方案等。产品Databricks 平台涵盖平台概述、数据工程、应用开发、数据仓库、人工智能、数据库、商业智能、治理、业务生产力、安全、客户数据平台、共享等。集成与数据包括市场、IDE 集成、合作伙伴连接。定价有 Databricks 定价和成本计算器。开源方面可了解开源技术。解决方案Databricks 行业解决方案涉及电信、媒体与娱乐、金融服务、公共部门、医疗保健与生命科学、零售、制造业等行业还可查看所有行业。跨行业解决方案有 AI 代理、AI 治理、网络安全、营销。迁移与部署包括数据迁移和前沿部署工程。解决方案加速器可更快实现重要成果。资源学习资源有培训、Databricks 学院、认证、免费版、大学联盟。活动信息包括数据 AI 峰会、全球巡回活动、AI 日、活动日历。博客与播客有 Databricks 博客、AI 博客、数据酿造播客、数据与 AI 冠军播客。获取帮助有客户支持、文档、社区。深入了解有资源中心、演示中心、架构中心。关于我们公司介绍包括我们是谁、团队、Databricks 风险投资、联系我们。职业机会有在 Databricks 工作和开放职位。媒体资讯有奖项与认可、新闻中心。安全与信任方面有相关内容。准备好开始了吗可获取演示、登录、联系我们、试用 Databricks。在 Databricks 的数百万行代码库上对编码代理进行基准测试在 Databricks随着 AI 应用于工程领域软件开发方式改变开发者选择增多了解编码代理表现和成本变得重要。本文分享了 Databricks 内部编码基准测试结果和方法该测试针对实际编码任务评估工具虽非全面评估但让工程团队效率提高。分析结论一是编码任务的帕累托最优前沿涵盖多种模型需多种工具组合实现前沿性能二是开源模型 GLM 5.2 能处理高难度任务三是模型令牌价格不能反映端到端任务实际成本四是调用模型的工具对成本和质量有显著影响简单工具 Pi 在工作负载中表现佳。模型能力层级模型和工具分为三个能力层级高端智能模型能解决各种问题但成本高中等和低智能模型在常见任务中有效且成本低。基于分析决定将更多工作分配给 Haiku 和 GPT 5.4 Mini 等模型。开源模型可用于编码GLM 5.2 处于顶级能力层级质量与 Opus 4.8 相当但成本更低开发者反馈其在日常编码中表现出色适合作为日常编码工具部署。每任务价格与每令牌价格开发者常根据令牌成本判断模型昂贵程度但因推理效率差异令牌成本不能反映任务总体成本凸显任务级基准测试的必要性如 Sonnet 5 与 Opus 4.8 的对比。工具对效率有重大影响使用相同模型通过不同工具运行任务成本差异显著主要在于工具提供的上下文量不同Pi 能更好管理上下文完成任务运行次数少。为实现灵活性投资开发了 Omnigent。为什么要构建自己的基准测试公开基准测试如 SWE - Bench 和 TerminalBench 无法回答问题一是任务公开解决方案会泄露到训练数据二是结果不代表 Databricks 代码库。基于自身 PR 构建基准测试可更有信心决策确保优化不影响开发者效率。我们是如何构建基准测试的使用 Unity AI Gateway 记录编码交互日志分析任务复杂度发现工程师默认用昂贵模型有很大效率提升空间。任务构建利用工程师的代码更改数据集对拉取请求进行多项质量检查和过滤构建高质量基准测试包括时效性、人工编写、关联高质量测试套件、自包含、代表典型任务等。确定候选 PR 后通过提炼意图总结提示、分离相关测试构建明确任务手动评估样本必要时重写测试和改进任务描述。使用标准设置实例化工具和模型提供常用工具对完成任务的代码检查点保存、应用测试并评估结果。额外的保障措施早期实验中部分模型得分异常手动检查发现代理可从 Git 历史记录找答案因此封存 Git 历史记录将工作副本与仓库隔离。下一步计划是什么最初问题是能否更高效使用编码代理答案是肯定的可基于数据构建自动选择模型和跟踪效率的功能。任何有合并 PR 积压的团队都有可用基准测试Databricks 会添加更多任务并测试新代理/工具。Databricks 警惕被锁定以相同理念对待 AI后续博客将介绍如何使用 Unity AI Gateway 和 Omnigent 智能路由功能帮助开发者。在收件箱中获取最新文章订阅博客可将最新文章发送到收件箱。立即注册可查看所有博客。