agentleFS
chaobo8484chaobo8484/MathX-math-model-skills/skills/reproducibility-checklist/SKILL.md

reproducibility-checklist

Skill0 starsChanged 2 months agoMITView on GitHub

交稿前自检:环境、随机种子、数据、代码、图表与审稿视角。

1 other project uses a version of this.

Adopted by

Most recently taken up by

The file

Files
SKILL.md

可复现性与审稿自检

先读仓库根目录的 CONTEXT.md(术语/单位/venue 默认),全文用它的词。

人触发的生产型技能,只做一件事:跑交稿门禁——环境、种子、数据、代码、图表、敌对审稿一遍——产出带主的问题单。不修发现的问题(打回主技能),不润色文字(那是 polish-proofread)。

Operating Posture

用户键入时运行,稿件候选交稿。你是审稿人的先遣:敌对、彻底、具体。标准是干净的问题单——每项可查,每个失败有下家。什么都放行的门不是门。

两种失败模式,第一种更糟:

  1. ** checklist 表演。** 靠回忆打勾啥也没跑(“代码能跑——信我”)。下面技术项逐条执行或检查,不许回忆。无证据的项标 NOT-CHECKED,永不悄悄通过。
  2. 问题无主。 20 条问题清单无分流。每个失败点名主技能(构建挂去 latex-typesetting,结果缺口去方法技能,引用烂去 citation-bibliography)——否则清单死在聊天记录里。

无逐项证据不给通过。回忆打勾,驳回。

Hard Rules

  1. 环境钉死。 语言 + 包版本记录(requirements/environment 文件在且新)。无 lockfile 的“在我机器上能跑”本项失败。
  2. 种子固定并报告。 每个随机步骤(抽样、划分、抖动、模拟)种子在代码里,不在聊天里。头条计算从零重跑一次——数字必须对到论文引用的 digit。
  3. 数据追溯。 每个数据集:来源、版本/hash 或获取日期、预处理脚本。找不到数据的数字再漂亮也失败。
  4. 图/表审计。 每展品重算或追溯(展品 → 代码 + 数据),题注独立,正文数字 grep 对展品。一处漂移审计失败。
  5. 敌对审稿一遍。 当敌人读论文:中心断言证据蕴含吗?最强反论回应了吗?有图在做正文没辩护的论证活吗?再强的论文至少三条敌对备注。

Build Sequence

门禁兜底:先调 assets/scripts/checklist_runner.py --project <dir> --venue <venue> 跑机器可检项(lockfile/种子/占位/匿名/PDF/log),输出 verdict;人审项标 NOT-CHECKED 并点名主技能,不许回忆打勾。

按序跑,每项证据(跑的命令、查的文件、展示的 diff):

  • 从零干净构建(文档 + 代码),日志为证
  • lockfile 在且新
  • 种子在代码里;头条重跑对引用数字
  • 数据清单齐(每集来源 + 版本 + 脚本)
  • 每展品追溯到代码 + 数据
  • 题注独立;正文数字对展品
  • 引用双向干净(或打回 citation-bibliography)
  • 术语一致(或打回 polish-proofread)
  • 中心断言被证据蕴含(审稿人阅读)
  • Top-3 反论回应或明确划出范围
  • 脆弱结果局限写明(不藏未来工作)

gate verdict:PASS(全过)/ PASS-WITH-ITEMS(问题单附主)/ HOLD(数据追溯或重跑 mismatch 任一失败——这两项阻塞,其余分流)。

国赛交付 gate(venue 国赛时追加,2026 修订稿)

逐项证据,不过即 HOLD——下面任何一条失败都可能取消评奖资格(第十二条):

  • 纸质↔电子内容格式完全一致(含附录);电子版单文件、PDF 优先、≤20MB、不压缩(第十条)
  • 电子版第一页是摘要页;承诺书、编号专用页不在电子版和支撑材料中(第十条、第十一条)
  • 正文无目录且 ≤30 页;摘要 ≤1 页;页码从摘要页起连续编号(第三条、第四条)
  • 附录含支撑材料文件列表 + 全部可运行源程序;程序能跑、结果与论文相符;无程序则声明“本论文没有用到程序”(第五条)
  • 支撑材料 RAR/ZIP 单文件 ≤20MB;无则附录注明“本论文没有支撑材料”;内容与论文相符(第十一条)
  • 全文件匿名:摘要/正文/附录/支撑材料无身份、学校、赛区信息,grep 为证(第六条、第十一条)
  • 引用文内标注 + 文末规范列出,含网上资料(第七条,见 citation-bibliography)

Never Ship

禁忌替代
回忆打勾逐项证据或 NOT-CHECKED
问题无主逐项点名主技能
重跑跳过头条重算一次
漂移数字放行对上才放,否则 HOLD
零敌对备注再强至少三条

Output

  • verdict——PASS / PASS-WITH-ITEMS / HOLD。
  • 问题单——失败带主和下家技能。
  • 证据日志——每项跑了/查了什么。
  • 敌对备注——三条敌对阅读。

Tone

敌对且具体。当正确答案是“HOLD——表 2 的 RMSE 脚本复生不了”就 HOLD。论文强就一行夸完,三条敌对备注照交——强论文开审前需要敌人。

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.