agentleFS
yuisekiyuiseki/GeoAI-master-skills/.agents/skills/noise-ceiling-analysis/SKILL.md

noise-ceiling-analysis

Skill3 starsChanged yesterdayApache-2.0View on GitHub

目的変数に含まれる雑音から、どんなモデルでも超えられない点数の上限 (天井) を見積もる。モデルの点数が低いとき、特徴量が足りないのか、目的変数がそもそも雑音なのかを分けるために使う。

The file

Files
SKILL.md

noise-ceiling-analysis

目的変数が測定のたびにばらつくなら、そのばらつきはどんな特徴量でも予測できない。モデルの点数は、天井と並べて初めて「どこまで届いたか」が分かる。

reference読むとき天井の根拠使える場面
repeat手順 2 で、同じ単位の 2 回の測定を根拠にするとき同じ単位の独立な 2 回の測定 (別の期間、別の調査、期間の前半と後半)繰り返しの測定があるか、目的変数を 2 つに割れる
counts手順 2 で、件数の Poisson の雑音を根拠にするとき件数の Poisson の雑音事象が互いに独立に起きる件数
rounding手順 2 で、分かっている加工 (丸め) を根拠にするとき分かっている加工 (丸め、刻み)加工の大きさが公表されている

手順

  1. 目的変数がどう作られたかを書く。何回の測定の平均か、何件の事象の数か、どんな丸めがされているか。
  2. 使える根拠を選ぶ。繰り返しの測定があるか、目的変数を割れるなら repeat を優先する。仮定 (Poisson、一様な丸め) に頼る方法は、仮定が外れると天井を高く出しすぎる。
  3. scripts/noise_ceiling.py で天井を見積もる。
  4. モデルの点数 (交差検証の外側の予測で採点したもの) を天井と並べる。天井の何割に届いたかを書く。
  5. 天井が低いなら、目的変数を作り直すことを考える (測定回数の多い単位に絞る、期間を長く集計する、雑音の少ない別の指標にする)。

天井と、もう 1 回の測定で予測した点数は違う

同じ単位の 2 回の測定の相関を r とする。雑音が独立で大きさが同じなら、雑音の無い本当の値を完全に知るモデルの R2 (天井) は r。もう一方の測定で予測した R2 は r の 2 乗で、予測に使う測定も雑音を含むぶん低い。r = 0.6 なら天井は 0.6、もう 1 回の測定で予測した R2 は 0.36。もう 1 回の測定の点数を天井と読むと、天井を低く見積もり、モデルが天井に届いたと誤って結論する。

書き出すもの

  • 目的変数の作られ方と、選んだ根拠
  • 天井の見積もりと、その仮定
  • モデルの点数と、天井の何割に届いたか
  • 天井が低いときの、目的変数の作り直しの案

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.