CandidateL4Tier 0 · 候选信号(未实测)架构级改动SEDRDA
确定性机械护栏(自带修复提示 Linter)+ 经校准的独立对抗式评估器
OpenAI 与 Anthropic 在「机械化护栏 + 独立评估器须经校准」上高度共识,且后者诚实披露了开箱 LLM 做 QA 会放水失效的痛点;进入 Candidate 待 Tier 2 基准对照。
对照基线:baseline-v0 · 引入日期:2026-11-19 · 最近更新:2026-11-19 · 原始日志:logs/iterations/2026-W47.md
可证伪假设(Hypothesis)
将高频架构与数据口径不变量编码为自带修复指引的确定性检查脚本,并对开放式质量叠加经历史错题校准的独立对抗式评估器,相比 Baseline v0 常规单测+通用自检,可将 SE/DA 预设陷阱逃逸率降低 >=40%。
严肃竞争性解释(Competing Explanation)
定制 Linter 与反复校准独立评估器本身需要高昂前期工程投入;且对抗式评估器若未校准好,极易产生高误报率或拉长小任务交付周期,净性价比未必划算。
证伪 / 削弱条件(Disconfirmation)
若在 SE-02/04、DR-02/03、DA-01/03 对照中,误报率 >30% 或额外耗时超过原任务 50% 却未明显降低隐性缺陷逃逸,则仅限高风险复杂任务使用,不升格为默认 L4 基线。
回滚条件(Rollback Guardrail)
若发现评估器误报导致主代理把正确实现改坏,或 Linter 规则僵化阻碍正当架构演进,立即精简护栏并回退。
Primary Provenance
一手观察与交叉验证来源
| 来源标题 | 类型 | 发布/采集日期 |
|---|---|---|
| OpenAI Engineering · Harness engineering: leveraging Codex in an agent-first world ↗ | official | 2026-02-11 |
| Anthropic Engineering · Harness design for long-running application development ↗ | official | 2026-03-24 |
| Anthropic Engineering · Demystifying evals for AI agents ↗ | official | 2026-01-09 |
为什么「随手让模型自己检查一下」远远不够
三篇一手工程文章从不同侧面揭示了 L4 验证层的核心真相:
- 把不变量写进带修复指引的机械化 Linter(OpenAI, 2026-02-11):仅靠文档规范无法阻止 Agent 生成代码逐渐熵增;OpenAI 将分层依赖方向、边界 Schema 校验、日志与文件体量等不变量编码成自定义 Linter,并在报错文案里直接注入修复指导,同时把真实浏览器 DOM/截图与本地可观测日志暴露给 Agent,使其能客观验收自己的改动。
- 开箱 LLM 天生是糟糕的 QA(Anthropic, 2026-03-24):在 Generator–Evaluator 分离实验中,Anthropic 非常坦诚地记录了早期失败——未经调优的评估 Agent 明明发现了真实 Bug,却会自己说服自己“这不算大事”并放行,且测试流于表面。只有通过持续阅读评估器轨迹(trace)、对照人工判断迭代校准评估标准,并让评估器真实驱动 Playwright 点击运行中的应用,验证收益才显著超过单次直出。
- 瑞士奶酪多层防线与
pass^k视角(Anthropic, 2026-01-09):没有任何单一评估器能拦截全部错误,需要确定性单测、基于 rubric 的模型评审与定期人工抽检叠加;且生产可靠性更应关注连续多次稳定的pass^k,而非碰运气成功一次的pass@k。
下一步验证重点
在 2026-W48/W49 针对 SE-02/04 与 DA-01/03 实测「确定性校验脚本 + 校准对抗清单」能否切实拦截静默数据丢弃、伪统计显著与表面修复陷阱,同时严密监控误报率与耗时代价。