ai-before-after
Skill0 starsChanged 16 days agoMITView on GitHub
앱에 넣은 LLM 기능(분류 · 요약 · 초안 쓰기)의 프롬프트 · 모델 · 후처리를 고칠 때, 같은 표본을 고치기 전과 후에 돌려 표 하나로 견준다. 모의 모델로 먼저 0원 시험하고, 정답 라벨이 없으면 정확도를 찍지 않고 라벨 없이 잴 수 있는 것(빈 출력 · 형식 위반 · 길이 · 분포 · 달라진 표본 · 입력에 없는 숫자)만 잰다. "프롬프트 바꾸기 전에 기준 떠 둬", "전후 비교해줘", "모델 바꾸면 나아지나 봐줘" 같은 요청에 쓴다.
In this repository14 other files it gives its agents.
- anti-slopSkill
- app-intro-kitSkill
- card-newsSkill
- fresh-reviewSkill
- harness-tuneSkill
- html-shortsSkill
- kakao-notifySkill
- ko-copy-lintSkill
- new-projectSkill
- one-box-serverSkill
- page-shotsSkill
- secret-guardSkill
- solo-dev-kitSkill
- vibe-app-checkupSkill
The file
Files
AI 기능 전후 비교 스킬
"좋아진 것 같다"는 측정이 아니다. 고치기 전에 표본을 한 번 돌려 두고(기준), 고친 뒤 같은 표본을 한 번 더 돌려 표로 견준다. 결과 파일은 대화에 붙이지 않는다. 표와 고른 몇 건만 본다.
순서
- 바꾸는 것 · 잴 것 — 먼저 한 줄씩. 사용자에게 보여 주고 좋다고 하면 시작한다.
- 바꾸는 것: 예) "분류 프롬프트에 예시 셋을 넣는다", "모델을 더 싼 것으로 바꾼다".
- 잴 것: 좋아져야 할 것 하나와 나빠지면 안 되는 것 하나. 예) "'기타'로 빠지는 건이 준다 · 형식 위반은 0 그대로".
- 정답 라벨이 없으면 여기서 "정확도는 재지 않는다"고 미리 말한다.
- 표본 고르기 — 20~50건. 기존 데이터(로그 · DB · 문의함)에서 다양하게 고른다. 기준은
checklist.md.- 짧은 것 · 긴 것 · 흔한 것 · 애매한 것 · 빈 것 · 지금 틀리는 것으로 알려진 것.
- 개인정보는 가린다. 이름 · 전화 · 메일 · 주소 · 계좌 →
<이름>·<전화>. - 한 줄에 하나:
{"id":"s01","input":"…","label":"…"}.label(정답)은 아는 것만 적는다. 지어 붙이지 않는다. - 작업 폴더(예:
.ai-before-after/)에 두고 커밋하지 않는다..gitignore에 없으면 한 줄 넣을지 묻는다.
- 어댑터 쓰기. 앱의 함수를 부르는
predict.mjs를 작업 폴더에 만든다. 앱 코드는 아직 고치지 않는다.export async function predict(input, ctx)— 문자열이나 JSON 객체를 돌려준다.- 실제 모델은
ctx.real(REAL=1일 때만 참)일 때만 부른다. 아니면 정해진 답을 돌려주는 가짜 모델을 끼워 프롬프트 조립 · 파싱 · 후처리는 그대로 돌게 한다. - 토큰 수를 알 수 있으면
ctx.usage({ in, out }). 꼴은checklist.md의 어댑터 예시.
- 0원으로 먼저. REAL 없이 돌려 파일 · id · 표가 맞게 나오는지만 본다.
node <이 폴더>/run.mjs predict.mjs samples.jsonl out/dry.jsonl→node <이 폴더>/compare.mjs out/dry.jsonl out/dry.jsonl- 가짜 모델을 끼울 수 없는 앱이면
--mock(모듈의mock함수, 없으면 기본 모의)으로 대신한다.
- '전' 뜨기 — 코드를 고치기 전에.
- 실제 모델이면 비용을 먼저 말한다: 건수 × (프롬프트 + 입력 + 출력 토큰) × 단가.
--dry가 건수와 입력 글자 합을 찍는다. 어림이 어려우면--limit 1로 한 건만 돌려 사용량을 보고 곱한다. 사용자가 좋다고 하면REAL=1을 붙인다. node run.mjs predict.mjs samples.jsonl out/before.jsonl— 같은 이름의 파일이 있으면 run.mjs가 멈춘다(기준선을 덮어쓰지 않게). 덮어쓸 때만--force.- 실제 모델은 같은 입력에도 답이 흔들린다. 한 번 더 떠서(
before2.jsonl)compare.mjs before.jsonl before2.jsonl의 "출력이 달라진 건"을 흔들림으로 적어 둔다. 비용이 두 배라 묻고 한다. - 코드를 이미 고친 뒤라면 '전'을 지어내지 않는다. 사용자에게 말하고, 허락을 받아
git stash로 되돌려 뜬다.
- 실제 모델이면 비용을 먼저 말한다: 건수 × (프롬프트 + 입력 + 출력 토큰) × 단가.
- 코드 고치기. 1에서 말한 것만 바꾼다. 표본 파일 · 옵션 · REAL은 그대로 둔다.
- '후' 뜨기.
node run.mjs predict.mjs samples.jsonl out/after.jsonl— 같은 표본, 같은 옵션. - 표.
node compare.mjs out/before.jsonl out/after.jsonl [--schema s.json] [--pred label] [--text reply] [--ban ban.txt]--schema: 출력 꼴 검사.--pred: 라벨이 든 칸(출력 전체가 라벨이면.).--text: 길이 · 숫자를 볼 칸.--ban: 금칙어(한 줄에 정규식 하나).- 표 위에
주의:줄(표본이 다름 · 돌린 방식이 다름)이 있으면 견주지 않고 다시 뜬다. - 결과 JSONL은 Read · cat으로 통째로 열지 않는다.
- 달라진 표본만 직접 읽기.
compare.mjs … --show s03,s07— 라벨이 바뀐 것 · 새로 틀린 것 · 입력에 없는 숫자가 나온 것에서 3~8건. 건마다 "나아짐 · 나빠짐 · 모름" 한 마디. - 보고. 아래 꼴로.
보고 꼴
바꾼 것: … 잰 것: …
표본 n건(라벨 m건) · 모의 / 실제 모델 · 흔들림: 같은 코드 두 번에 k건 달라짐(쟀으면)
좋아진 것: … (표의 어느 줄 · 어느 id)
나빠진 것: …
모르는 것: … (라벨이 없어 못 잰 것 · 흔들림보다 작은 차이 · 읽지 않은 것)
(compare.mjs 표)
파일: out/before.jsonl · out/after.jsonl지킬 것
- 정답 라벨이 없으면 정확도 · 재현율 숫자를 찍지 않는다. 숫자를 찍으면 측정이 아니라 창작이다. "더 정확해졌다"고도 쓰지 않는다. 분포가 어떻게 움직였는지, 읽어 본 몇 건이 어땠는지만 말한다.
- 실제 모델은
REAL=1을 켤 때만 부른다. 비용을 먼저 말하고 허락을 받는다. 재시도(--retries)도 돈이다. - 전과 후는 같은 표본 · 같은 옵션 · 같은 방식으로. 다르면 compare가
주의:를 찍는다. - 실패한 건을 빼고 "좋아졌다"고 하지 않는다. 표의 실패 줄을 같이 말한다.
- 한두 건 차이로 결론 내지 않는다. 표가 "한 건이 몇 %p"인지 알려 준다. 흔들림보다 작으면 모르는 것에 둔다.
- 입력에 없는 숫자 · 영문 낱말은 의심일 뿐이다. 그 id를 열어 보기 전에는 "지어냈다"고 말하지 않는다.
- 표본 · 출력 본문을 대화에 통째로 붙이지 않는다. 개인정보가 섞였을 수 있고, 컨텍스트를 먹는다.
- 어댑터가 DB에 쓰거나 메일을 보내거나 사용량 한도를 올리지 않게 한다. 운영 데이터에 시험 흔적을 남기지 않는다.
- 자세한 점검표는
checklist.md.
필요한 것
- Node 18 이상. 의존성 없음. TypeScript 앱이면
node --import tsx run.mjs …(tsx 설치 필요). - 앱의 LLM 기능을 함수 하나로 부를 수 있어야 한다.
예시
example/: 표본 10줄(지어낸 문장 · 라벨 있음) ·before.mjs·after.mjs(규칙만, API 호출 없음) ·schema.json. 이 폴더에서:node run.mjs example/before.mjs example/samples.jsonl out/before.jsonl node run.mjs example/after.mjs example/samples.jsonl out/after.jsonl node compare.mjs out/before.jsonl out/after.jsonl --schema example/schema.json --show s02,s07고친 판에 일부러 좋은 것과 나쁜 것을 섞었다. 표가 정확도 9/10 → 7/10, 빈 출력 +1(s10), 형식 위반 +2(s03 · s10), 입력에 없는 숫자 +1(s02의 "10")을 찍으면 제대로 도는 것이다. 표본에서
label을 지우면 정확도 칸에 "라벨 없음 — 정확도는 재지 않았다"가 찍힌다.
Does it work?
Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.
No reviews yet
People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.
- It worked
- Partly
- It didn't
Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.
Your trail
Files you open will collect here, so you can find them again.
Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.
Now do this for your own.
Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.

