agentleFS
takayoshitoyoda05takayoshitoyoda05/claude-ml-template/.claude/skills/multi-seed/SKILL.md

multi-seed

Skill1 starsChanged 2 months agoMITView on GitHub

複数seedで回して平均±標準偏差を出すとき、「seedを振って」「マルチシードで回して」と言われたときに必ず使う。

The file

Files
SKILL.md

マルチシード実験(worktree 並列)

同一コミットのコードを seed 違いで N 本実行し、MLflow に記録して 平均±標準偏差まで自動集計する。コード実装用の worktree 分離基盤を 実験の分離(生成物の上書き防止)に転用する。

前提条件

  • 実験スクリプトが --seed <N>(または同等の方法)で seed を受け取れること
  • mlflow が導入済みであること(無ければ mlflow-log スキルの前提に従い、 ユーザーに確認してから uv add --dev mlflow で導入)
  • 実験スクリプトが MLflow 記録を持たない場合は、先に mlflow-log スキルの 用途1に従って記録コードの追加を提案する(最小diffで)

進め方

1. 実験条件の確定

  • seed: 「seed 42-46」(範囲)や「seed 7,13,42」(リスト)を受け付ける。 未指定なら既定5本(42〜46)を提示し、開始確認を1回取る (計算資源を使う長時間ジョブを黙って起動しない)
  • 実行コマンド(例: uv run python train.py --seed {SEED})と experiment 名(CONTEXT.md の用語に合わせる)を確認する

2. 並列度の決定(自動キュー化)

  • nvidia-smi -L で GPU 数を検出する。GPU 実験なら並列度 = GPU 数 (seed ごとに CUDA_VISIBLE_DEVICES を割り当て)
  • GPU が1枚、または検出不能ならキュー実行(並列度1で順次)に フォールバックする。その旨を報告してから起動する
  • CPU 実験なら並列度は物理コア数を目安に保守的に決める
  • ユーザーが「並列度 N で」と明示したらそれを優先する

3. worktree の作成(--detach)

詳細は .claude/skills/multi-seed/references/worktree-setup.md を必ず読むこと(この節の規律は参照先が正)。

4. バックグラウンド起動(nohup、セッション非依存)

詳細は .claude/skills/multi-seed/references/background-run.md を必ず読むこと(この節の規律は参照先が正)。

5. 回収と集計(後続セッションでも可)

詳細は .claude/skills/multi-seed/references/collect-and-aggregate.md を必ず読むこと(この節の規律は参照先が正)。

6. 後片付け

  • 成功 seed: run.log を mlflow.log_artifact でbatch と seed で一意に 特定した runに保存してから git worktree remove する(ログは MLflow 側に残る。同一コミット・同一seedの再実行があっても batch で区別できる)
  • 失敗 seed: worktree を残す(デバッグの現場保存)。ユーザーが 原因を確認した後「片付けて」で削除する

EXPERIMENT_LOG.md への記録

集計表の提示後、ユーザーの承認を得てから docs/EXPERIMENT_LOG.md に 要約(experiment名・seed本数・平均±std・コミット)を追記する。 自動では追記しない(evaluator の記録経路と混線させないため)。

注意

  • 実行コマンドの組み立て以外でコードを変更しない(記録コード追加の 提案は mlflow-log スキル経由)
  • GPU 1枚での「並列」は VRAM を食い合って逆効果。キュー化の判断を 勝手に覆さない
  • 書き捨ての実験には使わない(worktree N 個分のディスクを使うため、 論文・報告に載せる本実験向け)

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.