📡 Agent Radar · 第 5 期(2026-10-27)¶
本期主题:商业化不是终点,评测才是入口 —— Agent 从"能力"走向"可交付"的这两周。
前三期我们追的是"能力"(Harness、Skills、上下文)。这两周,手册补上了最后两块拼图:钱从哪来(第 29 章)和凭什么值钱(第 30 章)。
🔥 头条:Agent 的定价权,正在从"模型"转移到"评测集"¶
手册第 29 章(Agent 经济与商业化)和第 30 章(评测体系)这一周正式转正。这两章放在一起看,会发现一个不太舒服的结论:
你卖的不是 Agent,是你那套评测标准。
三条正在成形的商业化路线,共用同一个前提:
| 路线 | 卖什么 | 为什么客户买单 | 真正的壁垒 |
|---|---|---|---|
| 微支付端点(x402) | 一次调用 / 一次抓取 | 不想包月,只想按量 | 稳定性与可计费性 |
| 可问责支付(AP2) | 带凭证的自动交易 | 出了问题要能追责 | 审计链完整度 |
| Agent Identity | 身份与授权 | 越权是最大恐惧 | 权限颗粒度 |
三者共同需要的,正好是第 25 章的五根柱子:没有失败恢复的端点不能按次收费;没有权限体系的身份只是标签;没有状态持久化的审计链在第 3 条记录后就断了。
为什么评测是"入口"而不是"收尾"¶
第 30 章把评测拆成三层金字塔:单元能力层 → 任务完成层 → 业务价值层。绝大多数团队停在第一层就跑去做商业化了,结果是在真实业务场景里反复失分却找不出原因。
一个能说清"我这版为什么比上版好 3 个点"的团队,才配得上谈定价。
评测驱动的开发(EDD)的实际形态:不是建一个大榜,而是给每个业务场景立一组必须通过的检查项,然后像 CI 一样每次提交都跑。这和上一期讲的 handbook doctor --exit-code 是同一个思路的两种尺度——一个管工程质量,一个管业务质量。
🧩 趋势观察¶
1. "能演示"和"能计费"之间的鸿沟正在被填补¶
过去一年 Operator 类产品的最大问题不是不会做,而是收不了钱——因为一次任务失败就把信任烧掉了。x402 一类的微支付方案看起来解决的是支付,实际上逼着所有人先把"成功率"变成可度量指标。
2. 评测正在从"公开榜单"变成"私有资产"¶
公开 benchmark 会被过拟合,这已经是常识。真正的差异化发生在每个团队自己那套私有评测集 + rubric 里:客服场景的"是否越权承诺"、数据场景的"是否编造字段"、代码场景的"是否真的跑了测试"——这些没法公开,也没法通用。
这也是我们认为"横评公开项目 Harness 分数"有价值的原因:公开的是工程底线,私有的才是业务壁垒。
3. 中文圈开始出现"工程侧"的分化¶
同样的教程,有人读完去做第二个 demo,有人读完去给自己的项目补失败恢复。半年后两者不在同一个量级。分水岭不是框架熟练度,而是有没有把五根柱子真正写进代码。
🛠️ 工具快讯¶
| 工具 | 动态 | 手册对应章节 |
|---|---|---|
| agent-handbook | 1.6.0:doctor --md / --exit-code、上架 PyPI、uvx 一行可用 |
第 25 章 |
| Mastra | @mastra/core 1.x,TS 侧工程化进一步补齐 |
第 10 章 |
| OpenAI Agents SDK | v0.24,轻量编排定位不变 | 第 8 章 |
| AutoGen / MAF | 迁移路径持续收敛 | 第 5 章 |
📄 论文与评测¶
- 三层评测金字塔的实践偏差:团队普遍在"任务完成层"缺样本,导致单元层高分无法预测业务表现。第 30 章给了补齐样本的最小可行做法。
- LLM-as-Judge 的校准:judge 与被评模型同源时,通过率会系统性偏高 10–20 个点。这条对任何做私有评测集的人都是硬提醒。
💡 本周一个值得思考的问题¶
如果你明天要给自己的 Agent 定价,你能拿出哪一个数字来支撑它?
不是"它很聪明",而是一个可复现的、别人能验证的数字。
欢迎到 Discussions 聊聊。
🏆 社区精选¶
| 仓库 | 等你来占位 |
| 一句话 | —— |
| 用到的章节 | —— |
| 体检 | __/10 |
| 踩过的坑 | —— |
本周暂无新收录——下一个位置留给第 1 位提交者。 按 projects/README.md 的模板提 PR,附上
handbook doctor . --md的输出即可。
📮 投稿与订阅¶
- 爆料/纠错:开 Issue 或在当期 Discussion 留言
- 订阅更新:⭐ Star 本仓库(Watch → Releases only 可接收每期通知)
- 下期预告:公开项目的 Harness 体检横评第一期(20+ 个知名 Agent 仓库的分数分布与共同短板)
📡 Agent Radar 第 5 期 · 2026-10-27 · 《AI Agent 实战手册》周刊栏目