skill-review
Skill5 starsChanged 12 days agoMITView on GitHub
对一个 skill（默认 diagnose）做**质量与体验**审视：静态审计 / 扰动实验 / 盲辨与走查 / 坏路径体验 / 注意力预算 五个视角，产出评审报告（落 proposals/reviews/）与可选改进建议。 **不做 CI 硬门**——体验是判断性规范，硬门化等于假硬化。用户显式要求"审视某个 skill 的 质量/体验""诊断用起来是不是很机械/哪里别扭"时使用。
25 other projects use a version of this.
Adopted by
Most recently taken up by
- snuffish/dotfilestheir own version, first seen Nov 8, 2026
- IT-HUSET/andthentheir own version, first seen Nov 8, 2026
- peterpme/skillstheir own version, first seen Nov 8, 2026
- patrykmurzyn/skillstheir own version, first seen Nov 8, 2026
- AbdouMoumen/claude-skills-plugintheir own version, first seen Nov 1, 2026
- AlbertPhan88/claude-skillstheir own version, first seen Oct 20, 2026
Used with
Projects with it also use sigma, skill-forge and 2 more.
Other files people use alongside this one.
Files found in the same public projects as a version of this one, more often than they turn up anywhere else. Each project counts once, large collections count for less, and this file's own repository is left out.
sanyuan0704Skillsigma
Personalized 1-on-1 AI tutor using Bloom's 2-Sigma mastery learning. Guides users through any topic with Socratic questioning, adaptive pacing, and rich visual output (HTML dashboards, Excalidraw concept maps, generated images). Use when user wants to learn something, study a topic, understand a concept, requests tutoring, says 'teach me', 'I want to learn', 'explain X to me step by step', 'help me understand', or invokes /sigma. Triggers on: learn, study, teach, tutor, understand, master, explain step by step.
Also in 3 projects that use this
WilliamSaysXSkillskill-forge
Automated skill creation workshop with intelligent source detection, smart path management, and end-to-end workflow automation. This skill should be used when users want to create a new skill or convert external resources (GitHub repositories, online documentation, or local directories) into a skill. Automatically fetches, organizes, and packages skills with proactive cleanup management.
Also in 3 projects that use this
SentrySkillskill-creator
Create new agent skills following the Agent Skills specification. Use when asked to "create a skill", "add a new skill", "write a skill", "make a skill", "build a skill", or scaffold a new skill with SKILL.md. Guides through requirements, writing, registration, and verification.
Also in 4 projects that use this
GoogleSkillgrill-me
A relentless interview to sharpen a plan or design.
Also in 3 projects that use this
Other versions25 projects use a version of this.
Word for word · 0
None found.
Edited · 0
None found.
Wrote their own version · 25
- sanyuan0704/code-review-expert★ 3.9ksame name
- sanyuan0704/sanyuan-skills★ 3.9ksame name
- QoderAI/better-harness★ 2.4ksame name
- fagemx/gstack-game★ 68same name
- joelhooks/joelclaw★ 65same name
- coupler-io/skills★ 39same name
- nimadorostkar/Claude-Skills-collection★ 33same name
- peterpme/skills★ 28same name
- IT-HUSET/andthen★ 4same name
- localSummer/skills★ 4same name
15 more not listed
How matches are found. Word for word: the exact same text. Edited: shares passages with this file (“99% same” means 99% of its five-word phrases also appear here; 10% or more counts). Their own version: similar meaning, or, weakest, the same name. We can’t tell which project had it first. Projects are counted among the 200 most-starred candidates, and mentions are links to the repository we found, up to 50 per site, so both counts are a floor.
In this repository15 other files it gives its agents.
- AGENTS.mdAGENTS.md
- CLAUDE.mdCLAUDE.md
- askSkill
- diagnoseSkill
- doc-standardsSkill
- doctorSkill
- evolve-checkSkill
- issue-ingestSkill
- knowledge-groomSkill
- preload-panelSkill
- reference-ingestSkill
- resume-diagnosisSkill
- self-evolveSkill
- to-postmortemSkill
- to-referenceSkill
The file
Files
Skill Review（质量与体验审视）
定位：
eval/管正确性（golden / S2：答对了没有）与交互回归（ixn：该问的问了没有）； 本 skill 管质量与体验——机械感、摩擦、坏路径、注意力预算。三者互补，不替代。 产出是建议，不是闸门。参数自包含，不依赖docs/也能执行。
何时用
不由内容流程自动触发：issue-ingest / to-postmortem / to-reference / knowledge-groom 的收尾走的是
/skill:evolve-check（轻量，无信号即止）；evolve-check的 T8 只累积体验信号、不跑本协议。 本协议只有三条触发路径：用户显式要求 /self-evolve深度轮按目标转接 / 大改某个 skill 之后（建议，非强制）。 且它是disable-model-invocation: true——agent 不会自发拉起。
- 用户问"这个 skill 用起来怎么样 / 是不是很机械 / 哪里别扭"；
- 大改某个 skill 之后（golden 全绿但体感变差——正确性回归测不出体验退化）；
- 深度自演进轮遇到"某 skill 的质量/体验"目标时转这里。
不做什么（边界，先读）
- 不进 CI：体验是判断性规范，机器判不了（可机械检查 + 确定性后果 + 反复复发三条都不满足）。 把它做成硬门 = 假硬化，比没有检查更坏——它制造虚假的安全感。强度如实标注为"判断"。
- 不替代 golden / S2 / ixn：那三个管正确性与交互回归；本 skill 的结论不推翻它们，也不被它们替代。
- 不作为验收证据：pilot 级样本（每格 1–3 次）只作方向性判据，报告必须写清样本量。
- 不自动改 skill：发现该改的，用
python3 scripts/evolve_intake.py record …落记录（按部署声明落卡或台账），走既有流程（建议与决定分离）。 - 不给自己开后门：本协议自身的改动与其他 skill 同等（走 methodology PR + 双签，不因"它是评审者"而降级）， 且每轮审视的首个动作是先用档 0 审自己——本文件的篇幅/强制词/预算档是否还成立。
预算分档（先选档，再动手——别默认跑全套）
| 档 | 花什么 | 跑哪些 | 什么时候值得 |
| 0 · 微 | 0 次 agent（脚本级，秒级） | 视角 A 静态审计 + E 的 token/字数 | 想知道"有没有明显异常"；改完 skill 扫一眼 |
| 1 · 小 | 3–5 次探针 | A + 一格扰动（挑最贴合当前疑点的：顺序 / 催促）+ 3 条坏路径 | 有具体疑点（"是不是背模板" / "坏路径会不会甩锅"） |
| 2 · 中 | 8–12 次 | A + 两格扰动 ×2 重复 + 六条坏路径 | 大改之后做一轮体检 |
| 3 · 全 | 15–20 次 | 五视角全跑（含盲辨） | 只在要改「输出契约 / 交互形态」时——只有那类改动需要盲辨对照来证明"更好" |
选档判据：要动的面决定档位。
- 改措辞、加/删纪律 → 档 1 足够（改前改后各跑一格扰动即可对照）；
- 改输出结构、改交互形态 → 必须档 3，否则"更清楚/更顺"没有对照数据，属未经验证的改动；
- 只是例行扫一眼 → 档 0。
开跑前用一句话跟用户对齐档位与预算（"这次按档 1 跑，约 3–5 次探针"），跑完在报告里写实际用量。 不要为了"跑得全"默认上档 3——那是本协议最容易犯的过度消费。
五个视角
A 静态审计（读文本，零实验成本，可全量）
对目标 skill 的 SKILL.md 与其 references/ 算下面几项，并与上一次审计对照（趋势比绝对值有意义）：
| 指标 | 怎么算 | 高了说明什么 |
| 强制词密度 | 必须/禁止/不得/一律/始终 出现数 ÷ token | 规则密集，模型的注意力预算被挤占 |
| 输出必填段数 | 要求 agent 逐段输出的段落数 | 输出模板化风险 |
| 判据/步骤比 | flow 里 check 含阈值或"是/否"判定的步占比 | 低 = 流程退化成清单，执行者变清单工 |
| 分支/步骤比 | 真正分流的步数 ÷ 总步数 | 过低 = 没有分流，只是把步骤排了序 |
| 常驻 vs 按需 | SKILL.md token vs references token | 常驻部分是否已超预算（常驻每轮都付） |
python3 scripts/audit_skill_cost.py --skill <name> --dups # 常驻/按需/重复面 + 强制词密度与输出段数前四项（强制词密度、输出必填段数）由该脚本按同一把尺算，第五项（常驻 vs 按需）也在它的输出里——不要另抄一份内联片段：同一把尺、可对照趋势，是这项审计能"与上一次对照"的前提。判据/步骤比与分支/步骤比要看 flow 语义，仍由人读（脚本不判）。
判读：不设合格线。要找的是"某处突然变多/变密"，并逐条回答两个问题—— ①这条规则是为了安全（误诊代价不对称）还是为了可观测（能演进）？两者都答不上来 = 为了整齐，该砍。
B 扰动实验（反事实 / 对抗）
每类扰动取 1–2 个场景、每个 2–3 次（小样本定性）。同一份输入只改一处，其余不变：
| 扰动 | 做法 | 看什么 |
| 顺序扰动 | 把用户提供的信息换顺序给 | 追问链是否随之改变——完全不变 = 背模板 |
| 信息饱和 | 一次给全 vs 挤牙膏分三轮给 | 是否仍逐条问已经给过的部分 |
| 错误前提 | 用户给一个明显错误的假设 | 盲从还是先质疑（质疑能力是诊断域的核心能力） |
| 催促 | 用户说"别问了直接给结论" | 是否跳过验证直接给 fix——闸门强度与体验的正面张力，结果要记下来交人判 |
| 表述漂移 | 同症状换口语 / 错别字 / 英文 | 路由与命中是否稳定（词法脆性；漂移即路由失效的信号） |
判读口径：扰动只改一处，差异可归因；报告写清"改了哪一处、变了什么、没变什么"。
C 盲辨与走查（人读 / agent 读）
- 盲辨（最便宜也最尖锐）：取两个不同问题的输出，去掉来源信息，让不知情的人或另一个 agent 判断"哪份对应哪个问题"。判不出 = 输出没有区分度 = 模板化。 对照臂：换两份同一问题的输出，应当同样判不出（若反而能判出，说明输出里混进了与问题无关的固定话术）。
- persona 走查：三种用户各走一遍——赶时间的客户工程师 / 第一次用的新人 / 只想验证假设的老手——记摩擦点：哪一步让人停顿、哪一步让人重复输入、哪一步结论看不懂。
- 干跑：让一个执行者照输出步骤真的做一遍，只回答"这条能不能执行"（不判断对错）。
D 坏路径体验（fixture 几乎只测好路径）
逐个触发，看输出是给出路还是甩锅：
- 知识库为空（冷启动）/ 候选全不命中 / 无测量数据 / 连续两次未解决（串联保护触发）/ 流程与现场证据矛盾 / 信息不足以分类（优雅退化）。
判读：坏路径的三条底线——① 明说现状（不假装有能力）；② 给下一步（哪怕只是"转人工"也要给可执行动作）；③ 不把责任推给用户（"你没给够信息"是事实陈述，"你去查清楚再来"不是）。
E 注意力预算（可测，别靠感觉）
| 项 | 怎么测 |
| 等多久 | 首轮到首个有效输出、到结论的轮数 |
| 贴多少 | 每轮用户输入字数；是否重复贴同一份东西 |
| 读多长 | 输出字数/段数 与问题复杂度的相关性——基本恒定 = 模板化 |
| 常驻成本 | SKILL.md + 常驻 references 的 token（视角 A） |
历史轨迹（
traces/）是做 E 的现成材料，但只在样本新鲜时才用：旧 trace 的口径可能已漂移， 用它下现状结论是拿旧数据说新问题。样本过旧或不覆盖目标场景 → 明确跳过并说明，不为凑数用旧数据。
判读纪律（强度如实标注）
- 确定性：A 的计数、E 的 token/字数——可直接引用；
- 半确定：B 的扰动对比（同输入只改一处，差异可归因）——给样本量；
- 主观：C 的盲辨与走查——写清是谁判的、判了几份、是否盲。
强度不标注的观察不要写进"结论与优先级"一节。
产出
- 报告 →
proposals/reviews/skill-review-<skill>-<yyyy-mm-dd>.md（本地留存，不进 git）： 每个视角一节（做了什么 / 样本量 / 观察 / 判断 / 建议），末节"结论与优先级"（按"用户可感知程度 × 修复成本"排序）； - 有具体可执行的改进 → 走
/skill:evolve-check第 3 步的同一条链：python3 scripts/evolve_intake.py record …； - 不把数字型"基线"写进 skill 文本——基线随 skill 变更腐烂，只进报告。
与既有机制的关系
| golden / S2 | ixn（交互） | skill-review（本） | |
| 管什么 | 答对了没有 | 该问的问了没有 | 机械感 / 摩擦 / 坏路径 / 预算 |
| 判据 | 机械断言 | 半机械（召回、决定性字段） | 判断性（人 / agent 评审） |
| 强度 | CI 硬门 | 约定 | 只建议 |
| 触发 | 改检索/路由面时 | 改交互面时 | 用户显式要求、大改之后、深度轮 |
为什么需要它
正确性回归全绿，不等于用起来不别扭。机械感来自两种东西：规则过细（把模型挤成清单执行器）与 规则互相打架（两处文档写反，模型行为随机）。这两类都测不出来——它们不改变命中率，只改变体感。 专门的审视视角把它们变成可讨论、可记录、可改进的对象，而不是"感觉有点怪"。
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.