Benchmark Suite v0 · 12 Tasks

代表性任务基准集 v0

任何候选工具、模型或工作流若想升级 SOTA 基线,必须在这把公开的尺子上与上一版基线同题对照。 每个任务族均设 2 道下限回归题(稳健性/防退化) 与 2 道前沿难题(能力上限扩展)。

Tiered Sampling Rules

分层验证抽样门槛

  • 局部改动(Tier 1 轻量试用):单条 Prompt/Skill、单工具或路由细则 → 目标任务族跑 2–3 题(至少 1 回归 + 1 难题)。
  • 架构级改动(Tier 2 基准对照):新编排框架、核心记忆中间件或范式升级 → 跑 ≥ 6 题(跨 ≥ 2 任务族),全系统范式变更须跑 全量 12 题。
Anti-Gaming Guardrails

防伪改善与防刷榜红线

  • 严禁因为候选在某道难题表现不佳而中途删除或换题。
  • 开跑前必须在 logs/iterations/ 锁定带时间戳的原始预测,禁止事后改写。
  • 必须同时报告 完成度 / 验证完整性 / 可复现性 / 成本耗时 / 维护复杂度 5 维变化,禁止只报均值掩盖回归。
任务族
SE · Software Engineering & Code Delivery

软件工程与代码交付

覆盖跨文件缺陷修复、带约束新功能开发、模糊需求增量重构与生产级隐蔽故障排错,检验工程可靠性与验证闭环。
SE-01下限回归

跨文件缺陷定位与最小修复

给定中等规模开源仓库的固定 commit 与可复现失败单测/Bug 描述,定位跨 3–5 个文件的根因并提交最小侵入修复。

客观验收:新增回归测试先红后绿、原有测试全通过、无无关改动。
常见陷阱:只修表面症状、放宽断言骗过测试、改动波及无关模块。
L2L3L4
SE-02下限回归

带约束的新功能实现与测试补齐

在固定代码库中按清晰规格新增一个功能模块(含边界条件、错误处理与向后兼容要求),补齐单元与集成测试。

客观验收:满足全部规格条文、Lint/Typecheck/Test 全绿、代码风格与仓库一致。
常见陷阱:遗漏隐含边界条件、破坏既有接口契约、写无效“走过场”测试。
L1L3L4L5
SE-03前沿难题

模糊需求下的增量重构与设计权衡

给定一段历史包袱重、耦合度高且需求描述存在 2 处隐含冲突的代码模块,先识别冲突/提出重构方案,再完成分步可回滚重构。

客观验收:主动暴露需求歧义并给出合理权衡;分步提交每步可运行;性能/行为无回归。
常见陷阱:不问清楚直接大爆炸式重写、引入过度抽象、破坏隐藏行为。
L1L2L5
SE-04前沿难题

生产级隐蔽故障排错(并发/状态/环境依赖)

给定一组偶发失败日志(竞态条件、缓存脏读或时区/编码边界问题)与代码库,构建稳定复现脚本、证伪错误猜想并彻底修复。

客观验收:产出 100% 稳定复现用例;记录至少 1 个被证伪的竞争猜想;修复后连续多轮压测无复发。
常见陷阱:凭感觉盲改加 sleep 或重跑掩盖问题、未验证根因即宣称修好。
L2L3L4
DR · Deep Research & Information Synthesis

深度研究与信息综合

覆盖多源技术选型、热点声明事实核查、矛盾证据综合判断与长链路跨文档一手资料提炼,检验去噪与反幻觉能力。
DR-01下限回归

多源技术选型对比报告

围绕明确工程场景,从官方文档、开源仓与社区实践收集 >=3 个候选方案并给出带约束条件的选型结论。

客观验收:每条关键参数与限制均附一手出处链接与时间;结论与约束严格匹配。
常见陷阱:引用过时博客、把营销宣传当实测事实、遗漏核心运维或协议限制。
L1L3L4
DR-02下限回归

热点声明的事实核查与去噪

给定一篇近期引发热议的 AI 新产品或论文宣称,核查其实验口径、对比基线、复现条件与社区反例。

客观验收:准确区分「已证实事实 / 厂商自称 / 未验证推测」,找出至少 2 处口径局限或反例。
常见陷阱:复读官方通稿、只看正面评测、未能追溯原始评测条件。
L3L4L5
DR-03前沿难题

矛盾证据下的综合判断与决策备忘录

针对业内存在激烈分歧的实践议题,综合正反双方一手工程案例,给出分场景适用边界与待验证预测。

客观验收:不和稀泥;清晰界定双方各自成立的前置条件,并给出可证伪的区分性验证建议。
常见陷阱:滑向确认偏误(只选一边证据)或给出毫无信息量的“视情况而定”。
L1L2L4L5
DR-04前沿难题

长链路跨文档一手资料综合

给定 5–8 份较长一手资料(论文、RFC、Issue 讨论与 Benchmark 附录),提炼隐藏在细节中的关键机制差异并回答 5 个跨文档深度追问。

客观验收:5 个追问全部命中原始细节、零张冠李戴、对资料未覆盖点明确声明「资料缺失」。
常见陷阱:长上下文漏读或串台、编造听起来合理但原文不存在的细节。
L2L3L4
DA · Data Analysis & Decision Support

数据分析与决策支持

覆盖脏数据清洗与口径审计、指标异动归因、带隐蔽统计陷阱的 A/B 实验评估与多目标量化权衡,检验沙箱实算与统计严谨性。
DA-01下限回归

脏数据清洗与口径审计

给定一份含缺失值、重复记录、混合时区/单位与异常离群点的固定数据集,产出可复现清洗脚本、数据质量报告与核心汇总指标。

客观验收:脚本可一键复现;识别 >=90% 预设脏数据问题;核心指标与真值误差在容许范围内。
常见陷阱:直接 dropna 静默丢弃关键样本、未发现重复主键导致指标翻倍、口头估算数字。
L3L4
DA-02下限回归

指标异动归因分析与可视化

给定业务/系统运行时间序列与多维属性表(含关键指标突降或成本激增),定位核心驱动维度并产出清晰图表与可执行排查建议。

客观验收:准确锁定主因与次因(排除伪相关/辛普森悖论干扰);图表无误导性坐标轴;建议可直接落地。
常见陷阱:把相关性当因果、漏看结构占比变化、只给泛泛建议。
L3L4L5
DA-03前沿难题

带隐蔽陷阱的实验评估 / A-B 分析

给定包含样本量不足、SRM 样本比例失衡、极少数离群值拉高均值或口径漂移的实验数据,判断新策略是否真的有效。

客观验收:主动检出统计/实验设计缺陷,给出稳健检验(中位数/分位数/置信区间)及谨慎决策建议。
常见陷阱:直接跑一次普通 t-test 看到 p<0.05 就草率宣布“显著提升”。
L1L3L4
DA-04前沿难题

开放业务目标下的量化权衡决策

给定成本、质量、延迟与预算多目标冲突的场景数据,建立可复现量化模型,输出帕累托最优方案与敏感性分析。

客观验收:明确列出模型假设与敏感性区间;说明方案在边界变化时何时失效;全部计算代码可复现。
常见陷阱:偷偷把多目标简化成单一易算指标、忽略极端流量或长尾失败代价。
L1L2L3L5