跳转至

📡 Agent Radar · 第 5 期(2026-10-27)

本期主题:商业化不是终点,评测才是入口 —— Agent 从"能力"走向"可交付"的这两周。

前三期我们追的是"能力"(Harness、Skills、上下文)。这两周,手册补上了最后两块拼图:钱从哪来(第 29 章)和凭什么值钱(第 30 章)。


🔥 头条:Agent 的定价权,正在从"模型"转移到"评测集"

手册第 29 章(Agent 经济与商业化)和第 30 章(评测体系)这一周正式转正。这两章放在一起看,会发现一个不太舒服的结论:

你卖的不是 Agent,是你那套评测标准。

三条正在成形的商业化路线,共用同一个前提:

路线 卖什么 为什么客户买单 真正的壁垒
微支付端点(x402) 一次调用 / 一次抓取 不想包月,只想按量 稳定性与可计费性
可问责支付(AP2) 带凭证的自动交易 出了问题要能追责 审计链完整度
Agent Identity 身份与授权 越权是最大恐惧 权限颗粒度

三者共同需要的,正好是第 25 章的五根柱子:没有失败恢复的端点不能按次收费;没有权限体系的身份只是标签;没有状态持久化的审计链在第 3 条记录后就断了。

为什么评测是"入口"而不是"收尾"

第 30 章把评测拆成三层金字塔:单元能力层 → 任务完成层 → 业务价值层。绝大多数团队停在第一层就跑去做商业化了,结果是在真实业务场景里反复失分却找不出原因。

一个能说清"我这版为什么比上版好 3 个点"的团队,才配得上谈定价。

评测驱动的开发(EDD)的实际形态:不是建一个大榜,而是给每个业务场景立一组必须通过的检查项,然后像 CI 一样每次提交都跑。这和上一期讲的 handbook doctor --exit-code 是同一个思路的两种尺度——一个管工程质量,一个管业务质量。

📖 手册联动:第 29 章 · Agent 经济与商业化|第 30 章 · Agent 评测体系


🧩 趋势观察

1. "能演示"和"能计费"之间的鸿沟正在被填补

过去一年 Operator 类产品的最大问题不是不会做,而是收不了钱——因为一次任务失败就把信任烧掉了。x402 一类的微支付方案看起来解决的是支付,实际上逼着所有人先把"成功率"变成可度量指标。

2. 评测正在从"公开榜单"变成"私有资产"

公开 benchmark 会被过拟合,这已经是常识。真正的差异化发生在每个团队自己那套私有评测集 + rubric 里:客服场景的"是否越权承诺"、数据场景的"是否编造字段"、代码场景的"是否真的跑了测试"——这些没法公开,也没法通用。

这也是我们认为"横评公开项目 Harness 分数"有价值的原因:公开的是工程底线,私有的才是业务壁垒。

3. 中文圈开始出现"工程侧"的分化

同样的教程,有人读完去做第二个 demo,有人读完去给自己的项目补失败恢复。半年后两者不在同一个量级。分水岭不是框架熟练度,而是有没有把五根柱子真正写进代码。


🛠️ 工具快讯

工具 动态 手册对应章节
agent-handbook 1.6.0:doctor --md / --exit-code、上架 PyPI、uvx 一行可用 第 25 章
Mastra @mastra/core 1.x,TS 侧工程化进一步补齐 第 10 章
OpenAI Agents SDK v0.24,轻量编排定位不变 第 8 章
AutoGen / MAF 迁移路径持续收敛 第 5 章

📄 论文与评测

  • 三层评测金字塔的实践偏差:团队普遍在"任务完成层"缺样本,导致单元层高分无法预测业务表现。第 30 章给了补齐样本的最小可行做法。
  • LLM-as-Judge 的校准:judge 与被评模型同源时,通过率会系统性偏高 10–20 个点。这条对任何做私有评测集的人都是硬提醒。

💡 本周一个值得思考的问题

如果你明天要给自己的 Agent 定价,你能拿出哪一个数字来支撑它?

不是"它很聪明",而是一个可复现的、别人能验证的数字。

欢迎到 Discussions 聊聊。


🏆 社区精选

仓库 等你来占位
一句话 ——
用到的章节 ——
体检 __/10
踩过的坑 ——

本周暂无新收录——下一个位置留给第 1 位提交者。 按 projects/README.md 的模板提 PR,附上 handbook doctor . --md 的输出即可。


📮 投稿与订阅

  • 爆料/纠错:开 Issue 或在当期 Discussion 留言
  • 订阅更新:⭐ Star 本仓库(Watch → Releases only 可接收每期通知)
  • 下期预告:公开项目的 Harness 体检横评第一期(20+ 个知名 Agent 仓库的分数分布与共同短板)

📡 Agent Radar 第 5 期 · 2026-10-27 · 《AI Agent 实战手册》周刊栏目