L4Baseline v0参考基线 v0 · 最近审阅 2026-11-19

验证与评估层

以确定性外部验证(测试/构建/出处核查/数据审计)为核心防线,高风险交付叠加隔离上下文的对抗式复核,显式标注未知项。

本层核心问题:如何把「看起来很合理」转化为「可验证的真实正确」,有效拦截代码回归、研究幻觉与数据静默错误?
Baseline v0 Default Policy

当前默认基线策略

  • SE 必须跑真实类型检查、Lint、单测与复现命令,严禁通过削弱断言骗过测试
  • DR 关键事实与数字必须执行「主张 ↔ 一手出处」逐条核对并主动搜寻反例
  • DA 强制执行数据质量审计(缺失/重复/口径/泄漏)与关键指标独立重算
  • 高风险复杂交付引入隔离上下文的对抗式复核;资料缺失必须显式声明未知
Explicit Anti-Patterns

默认排斥的反模式

  • 仅在同一对话末尾追加一句“请再检查一遍”当作质量保障
  • 用 LLM 自我打高分替代客观测试退出码、代码运行结果或原始文献核验
  • 遇到资料缺口时凭常识“合理补全”导致隐蔽幻觉
Falsifiable Hypotheses

本层待验证核心假设

H-L4-01

在 SE 与 DA 难题中,增加一次「隔离上下文的对抗式复核」相比「无独立复核的常规交付」可将隐性缺陷逃逸率降低 >=40%。

严肃竞争性解释:额外复核可能产生大量误报(False Positives),拖慢进度甚至诱使主代理改坏原本正确的实现。
Evidence Ledger for L4

本层关联证据与实践条目(1)

在证据账本中筛选 →

层级定位

验证与评估层是通用任务执行系统的质量放大器与安全护栏。当生成成本越来越低时,系统能力上限越来越取决于「能否低成本、高可靠地发现并纠正自身错误」。

Baseline v0 默认架构

  1. 确定性验证优先于主观评审:凡是能用编译器、测试套件、Schema 校验、Python 断言或原始链接比对验证的事项,一律用确定性机制验收。
  2. 对抗式独立视角:对难以完全形式化的交付(如 SE-03 架构权衡、DR-03 矛盾证据综合、DA-03 统计陷阱排查),使用独立检查清单或隔离上下文专门寻找反例与隐蔽假设。
  3. 诚实不确定性:把「未核实」「证据不足」当作合法且受鼓励的输出状态,从机制上消除编造动机。

证据缺口与演进方向

当前为 Baseline v0 参考锚点。后续将重点验证自动化静态护栏、测试驱动 Agent 循环(TDD for Agents)以及独立 Verifier 在三类任务族中的性价比与误报代价。