星期五
06 / 27
Coinbase已将AI支出削减近半,尝试将GLM 5.2、Kimi 2.7等开放权重模型设为默认选项
星期五 2026-06-27 19:36

快链头条 消息,6 月 27 日,Coinbase CEO Brian Armstrong 发文表示,若想在 token 使用量指数级增长的同时保持 AI 支出稳定,关键不在于设置使用摩擦或支出提醒,而在于更好的默认模型、路由和缓存机制。Coinbase 正在通过 LLM 网关尝试默认使用 GLM 5.2、Kimi 2.7 等开放权重模型,同时仍鼓励工程师根据任务选择合适模型。其称,91% 的员工从未触及使用上限,因此公司没有选择降低额度并增加提醒,而是转向更低成本的默认模型。

在模型路由方面,Coinbase 会在自定义流程中预处理提示词,并根据缓存命中率和模型定价,将任务路由至最合适模型。例如,规划阶段可能需要前沿模型,但执行阶段使用前沿模型可能过度。其认为,未来不应由人类选择模型,AI 可以自动完成该任务。

Armstrong 还表示,缓存未命中是推高成本最容易的方式。Coinbase 的请求均具备缓存感知能力,以便尽可能复用热缓存。例如,在正确实现缓存后,LibreChat 的缓存命中率已从 5% 提升至 60%。此外,Coinbase 也要求工程师保持上下文精简,包括切换任务时开启新会话、缩小文件上下文范围、断开未使用工具等。目标不是压制 AI 使用量,而是构建可支撑指数级增长的基础设施。通过上述实践,Coinbase 已将 AI 支出削减近一半,同时 token 使用量仍在继续增长。