framework-self-dev
Skill5 starsChanged 4 days agoMITView on GitHub
在框架自己身上施工時要知道的事:一張框架單怎麼開,以及改一支 skill 之後怎麼知道它變好還是 變壞。兩種單——舉發實作途中撞到的問題、開發框架新功能——開單那一刻問的格子不一樣,而舉發 那一種要先看過還沒出去的單裡有沒有同一件。量 skill 改動是拿那支 skill 的 evals/ 題目, 對改前、改後兩個版本各盲跑一次、讀 transcript 判。
In this repository19 other files it gives its agents.
- .codex/AGENTS.mdAGENTS.md
- .claude/instructions/runtime/claude.mdCLAUDE.md
- CLAUDE.mdCLAUDE.md
- .github/copilot-instructions.mdCopilot instructions
- check-your-own-workSkill
- command-postSkill
- driving-work-to-doneSkill
- engineeringSkill
- learningSkill
- memory-hygieneSkill
- pr-pickupSkill
- refinementSkill
- request-pr-reviewSkill
- review-inboxSkill
- review-prSkill
- standupSkill
- swe-knowledgeSkill
- verify-acSkill
- visual-regressionSkill
The file
Files
framework-self-dev — 在框架自己身上施工
這一份講兩件事:一張框架單怎麼開,以及改一支 skill 之後怎麼知道它變好還是變壞。
之後怎麼走不在這裡——driving-work-to-done 回答下一站是什麼,refinement 簽 assertion,
swe-knowledge 說這一類工作怎麼算 done。這一份補的是它們都沒有的兩格:開單那一刻要
回答什麼,以及改完一支 skill 之後拿什麼量它。
為什麼框架單需要自己一份
產品單來自外部系統,開單那一步有人把關:號要去那裡領,而領號的人會先看有沒有一樣的。 框架單沒有那一層。 開一張的成本是一個命令,而每一個 session 都在撞東西、每一個都照 規矩記下來——觀察是各自的,待辦是共用的。
2026-08-31 一天開了 44 張,因為那天有八個以上的 session 同時在跑。同一天量到的:還沒 出去的 52 張裡,43 張從來沒被任何一張產品單提到過,39 張一輪都沒開過,32 張連 assertion 都沒簽。而其中有 11 對在講同一件事。
這一份存在的理由是讓那個比例不再發生。 它不擋任何人——它要人回答問題。
兩種單,開單的人自己說是哪一種
| 舉發(實作途中撞到的問題) | 開發框架新功能 | |
| who 誰、在做什麼工作時撞到的 | 撞到的人當下就知道 | 沒有「撞到」這件事,答不出來 |
| where 撞在哪個檔 | 同上 | 同上 |
| 查重的鍵 | 就是 where | where 不存在,鍵產不出來 |
新功能那一種不是被豁免,是那個機制對它不成立。 硬要它填,填出來的會是一個編的 ——而編過的格子看不出來,空著的看得出來。
種類由你宣告,不由腳本從名字或內容推。 推的話,同一件事換個寫法就換一種待遇, 而沒有人看得出來換過。
兩種單的終點是同一個形狀:都是一張該填的格子都有答案、只等 refinement 簽 assertion
的單。差的只有開單那一刻問哪幾格。
開單那一刻還要問兩件事。
- 別的 agent 跑不跑得到這個機制(使用者 2026-10-08 拍板)。只有 Claude Code 才有的機制(它的
hook 設定、它專屬的工具攔截)先不做。可以做的是 skill 散文裡的步驟、任何 agent 都能從命令列跑
的腳本、git hook、檔案格式上的約定。Codex 也有 hook(
hooks.json或config.toml),要做 hook 就兩邊各寫一份,而且仍要先證明它守著一個不可逆的後果。 - 改到的東西屬於哪一類。
companyscope 的改動不搭destination: template的單,另開一張workspace的單,不把公司的改動搭進 template 的版本。changeset 一律寫成匿名:洩漏閘掃整個.changeset/,不看 destination。公司名與單號留在 PR 描述與那家公司自己的文件。
舉發那一種:6W
refinement 的四格(what/when/why/how)本來就在,舉發多兩格:
- who——是誰、在做什麼工作的時候撞到的。自己構造輸入跑出來的重現不算撞到:它證明那條 路徑存在,不證明有呼叫端會走到它。每一條重現問「哪個真實呼叫端會這樣叫它」,答不出來就標成 候選,不算進實例數。2026-09-17 的標本:一張單寫了兩個「獨立的洞」,兩條都是自己造的輸入, 都沒有呼叫端;原始回報的那一個也是誤讀,整張單的實例數是 0。
- where——撞在哪個檔。這一格同時就是查重的鍵。
那兩格正好是開單當下最便宜的兩格:撞到的人知道自己是誰、知道自己剛剛在讀哪個檔。它們不 像 assertion 那樣要想清楚怎麼算成功。
assertion 不在開單那一刻簽。 一張種子單存在的整個理由就是「怎麼算成功還沒想清楚」。 要求 6W 不改變這件事——改變的是開出來的東西不再是一張筆記。
查重:把撞到的那幾張端到眼前
鍵是「正文指名的檔案有交集」,不是標題共用實詞。 2026-08-31 拿當天真的重複的 11 對 當測資量過:
| 查重的鍵 | 11 對裡抓到 | 會提醒幾對 |
| 標題共用 ≥2 個實詞 | 6 | 3,300(全樹之間) |
| 正文指名的檔案有交集 | 10 | 93(還沒出去的 38 張之間) |
標題那一組漏掉的五對裡有三對一個詞都不共用,而那三對用檔案這個鍵全部抓得到。
分母是還沒出去的單。 開單的人要看的是「現在還在待辦裡的有沒有同一件」,不是「歷史上 有沒有」。終局那幾格不進分母。
噪音集中在少數幾個檔上,而那正好是資訊:一張新單指名某支被七張單同時指名的腳本時, 那七張本來就該一起看。
這不是一道閘
開一張重複的單不是不可逆的(close 得掉),也不出這個 repo。所以「查重不過就不給開」這種 東西不該存在。
擋人的只有三件,而且它們擋的是沒有回答問題,不是答案的內容:
- 沒宣告種類。
- 舉發那一種缺了 6W 任何一格。
- 撞到了卻沒有寫下判斷。
判定「撞到十張,都不是同一件」的話,單照樣開得出來。那句判斷會寫進單的正文裡,所以下一個 讀它的人看得到當時是怎麼判的。
兩條入口
開一張框架單有兩條路,而這一份對兩條都成立:
refinement帶的open-seed-issue.sh——它自己會問出種類、要 6W、跑查重。- 自己算號再建目錄(
driving-work-to-done把算號那一支單獨交到人手上)。走這一條的話 上面那幾件事沒有東西替你做,所以要自己做:宣告種類、答完 6W、掃一次還沒出去的單裡有 沒有指名同樣檔案的,把判斷寫進正文。
腳本不指名這一份知識。 那一支住在會被帶走的 skill 裡,而它在沒有這一份的環境裡照樣
要跑得動。指過來的是 driving-work-to-done 的散文。
改一支 skill 之後:前後各盲跑一次
改一支 skill 的散文,verify-ac 量得到腳本的行為,量不到「agent 照著新的散文做事有沒有比較對」。
這一節補那一格。它不掛在任何 hook 或腳本上;擋人的路是這張 DP 自己凍結的 assertion,由
verify-ac 照單判。
改散文規則的 DP,AC 裡要有什麼
改任何 SKILL.md 散文規則的 DP,AC 必含一題從標本寫出來的 eval。 題目寫三樣:使用者的原話、 重現那個現場的最小必要狀態、正確的下一步。公司識別與人名換成佔位字(例如〔reviewer〕、 〔svc-a〕、NNNN),這是寫題的一步,不是事後清理:題目跟著 skill 進 template repo。
判過的定義:改版對不改,各跑 --runs 4,用下面那支隔離的 runner;改版的 PASS 數大於
不改,才算判過。--base 是改之前的 ref,--head 是改之後的 ref。
- 不排候選,也不量「比出貨好」。 這把尺分得開「改了」與「沒改」,分不開兩個都改過的版本。 2026-11-04 在同一題上量到:不改 0/8、出貨版 2/4、另一個候選 3/4。改版對不改 p≈0.026, 候選對出貨 p=1.0。
- 字串 oracle 可以留,只當輔助。 它量的是 prompt 裡有沒有那句話,量不到 agent 照著做了沒有, 不能替代盲跑。
成本:一題約 1~2 小時(2026-11-05 實測一題 8 候選 41~78 分)。
例外:改的是腳本的 DP,以及只改措辭、不改規則的 DP,走原本的機械 oracle。
標本:DP-969~971 當天 oracle 全綠,隔離前的判官盲跑全 FAIL;隔離之後重量,出貨版 2/4。 969~976 每一張都讀得到這一節,而 這一節當時寫著「它不擋任何人」,盲跑因此變成可以省略的。所以改到 SKILL.md 散文的五張 (969、970、971、973、976),量的都只是字串。
怎麼跑
題目住在被測那支 skill 自己的 evals/evals.json,格式沿用官方 skill-creator 的 evals.json,
多五個欄位:group(capability 或 regression)、source(這題從哪個真實失敗來)、setup
(在候選的目錄裡造出現場的腳本,例如一段 diff 或一張單),以及 behaviour 與 direction
(這題量哪一種行為、是該做 do、不該做 dont,還是同一題兩向都有 both)。
python3 .claude/skills/framework-self-dev/scripts/compare-skill-versions.py \
--repo . --skill <skill 名> --base <改前的 ref> --head <改後的 ref> --out <放結果的目錄>- 候選是盲的。 每題各開一個新目錄,放
--head那一版的 skill 樹,只把被測那支換成這一臂 的版本。名字含 eval、test、judge 這類字的檔案與目錄全部拿掉(含每支 skill 的evals/與selftests/),拿掉幾個記在每題的changes.txt。候選看不到另一版、看不到評分標準,也讀不到 這台機器的個人設定:預設命令只載入那個目錄的 project 設定,也不帶 MCP。 - 每一跑隔開真線。 只換工作目錄不夠:候選的 Bash 照樣讀寫
$HOME底下的 command-post 日誌與~/.claude/sessions登錄,也找得到/tmp/cc-socks裡真的 session。所以每一跑開一個 沙箱:Bash 的$HOME與日誌目錄指進去,socket 目錄(XDG_RUNTIME_DIR)指進去,SendMessage 與 ListAgents 拿掉,換成只寫進沙箱的假收件者。候選想送的訊息存在 transcript 旁邊的peers.jsonl。Claude Code 自己的設定目錄不換,換了就登不進去。換成別的 agent 時只換得到 環境變數,拿掉工具那一半要換的人自己做。標本:2026-11-04 21:33~22:21 一次盲跑的八個候選 以指揮官身分往真的日誌寫了 13 筆給 work-25 的派工與回覆,指揮官把它們當成真的待決在讀。 - 每題每版預設跑 4 趟,跟 DP 的 AC 同一個數。 同一題同一版本跑兩次可以給相反的判定,單趟分數
分不出兩版。
--runs改趟數。同一版幾趟判定不全相同的題標成翻面,不算進兩版的通過數,summary 另外列出是哪幾題。 只跑一趟看不出翻面,summary 會這樣寫。 - 判官讀 transcript。 兩份 transcript 只標 A、B,哪一份是哪個版本每題每趟隨機抽,只寫在
key.json。判官逐條判 PASS、FAIL、UNKNOWN,每條要附 transcript 的引用。一題全部 PASS 才算過,有 UNKNOWN 就算 UNKNOWN,不算過也不算失敗。 - 結果要人讀。
summary.md分兩組列通過數,逐題列每一趟兩份 transcript 的位置。照分數直接收 不算讀過——抽幾題 transcript 跟判官的判定比一次,對不上就是題目或判官的問題。 - capability 與 regression 分開看。 regression 應該接近全過,掉了就是改壞了;capability 本來就低,是用來看有沒有往上爬。
- 改的散文不在 skill 裡。 改的是
.claude/rules/底下的檔或CLAUDE.md的話,用--carry <路徑>指名它,那個路徑也照每一臂的 ref 帶進候選目錄。候選的預設命令會載入那個目錄的這兩種檔。 題目放在這一支的evals/,--skill framework-self-dev指過來。 - 換 agent。
--agent-cmd換掉候選的啟動命令,prompt 接在最後一個參數;--judge-cmd同理。 預設是 Claude Code。
題目從真實失敗挑。 單上的 SKILL-UTILITY: … | hurt | 與 review 抓到的缺陷是來源,source
寫出那一行在哪。腳本摩擦(某支腳本壞掉)不當題目,它量的是程式不是 agent。同一種行為要有
「該做」與「不該做」兩向的題,只有一向的話,「什麼都做」或「什麼都不做」會拿滿分。
這一份不做的事
- 不決定下一站。那在
driving-work-to-done。 - 不簽 assertion。那在
refinement。 - 不管「實作途中發現的問題就地修」那條。撞到一個修得動的東西就修掉,不必開單——這一 份管的是「決定要記下來」之後那一步。
<!-- PROSE-EXTERNAL-PATHS: evals/evals.json — 被測那支 skill 自己的題目,住在那支 skill 底下,不在這一支 --><!-- PROSE-EXTERNAL-PATHS: summary.md — 跑起來才長出來的東西,落在 --out 指名的目錄 -->Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

