agentleFS
yuisekiyuiseki/GeoAI-master-skills/.agents/skills/eda-and-baseline/SKILL.md

eda-and-baseline

Skill3 starsChanged yesterdayApache-2.0View on GitHub

目的変数と特徴量の分布、欠損、外れ値、相関を見て、どのモデルも超えるべき基準 (平均、グループ平均、線形回帰) の点数を、本番と同じ分割で出す。特徴量ができた後、木やブースティングなどのモデルを試す前に使う。

The file

Files
SKILL.md

eda-and-baseline

複雑なモデルの点数は、単純な基準と比べて初めて意味を持つ。基準を先に出し、その後のモデルは全て同じ分割、同じ指標で基準と並べる。

言葉:

  • 基準 (ベースライン): 単純な予測。mean は学習側の平均、median は中央値、group_mean は学習側の同じグループ (地域など) の平均、linear は線形回帰。分類では prior が学習側のクラスの割合。
  • 分割表: 交差検証で、どの行を学習に、どの行を試験に使うかを書いたファイル。1 行が 1 つの (repeat、fold、id、role)。repeat は分け直しの回、fold はその回の何番目の分け、id は行の識別子、role は train (学習) か test (試験)。Parquet (列指向のファイル形式) で書く。
  • 交差検証: 分け方を変えて、学習と試験を繰り返すこと。各行は、その行を学習に使わなかったモデルで 1 回予測される。

手順

  1. 目的変数を見る。分布 (偏り、裾、0 の多さ)、外れ値、単位の値の範囲。変換 (対数など) をするなら理由を書く。
  2. 欠損を見る。列ごとの欠損の数と、どの単位が欠けているか。欠けた単位の目的変数の分布を、欠けていない単位と比べる。欠損が無作為でなければ、行を除くと結論が偏る向きを書く。
  3. 特徴量を見る。分布、外れ値、特徴量どうしの相関 (順位相関)。ほぼ同じものを測っている組を見つける。
  4. 目的変数の空間的な偏りを見る。地域や国ごとの平均、地図。近い単位どうしが似ているなら、行を無作為に分ける評価は甘くなる (隣の行を学習側に見て当てられるため)。
  5. 基準の点数を出す (下の節)。分け方を決めて分割を 1 つのファイルに残し、後のモデルも同じ分割で採点する。甘い分け方 (行を無作為に) と厳しい分け方 (群ごと伏せる) の両方で出す。
  6. 書き出す。

基準

基準は scripts/score_folds.py で出す。各行を、その行を学習に使わなかったモデルで予測し、まとめて採点する (RMSE、MAE、R2)。後で木のモデルなどを足すときも、同じ分割ファイルを同じ形式で読む採点のコードを使えば、基準と並べられる。

基準予測超えられなかったら
mean学習側の平均特徴量に情報が無いか、モデルが壊れている
median学習側の中央値裾の長い目的変数で、平均より強いことがある
group_mean学習側の、同じグループの平均。学習側にそのグループが無ければ全体の平均モデルは地域の違いしか拾っていない
linear標準化した特徴量の線形回帰非線形のモデルを使う理由が無い
uvx --with duckdb --with scikit-learn python scripts/score_folds.py \
  tmp/table.parquet ID TARGET F1 F2 F3 --task regression \
  --models mean median group_mean linear --cv group --group region --repeats 3
  • --cv rows は行を無作為に、--cv group は --group の列で群ごと伏せて分ける。分割をファイルに残して他の道具と共有するなら、--folds-file に (repeat、fold、id、role) の列を持つ Parquet を渡す。
  • 表に欠損のある行があると止まる。先に除いておく。
  • 分類なら --task classification で、基準は prior (学習側のクラスの割合) と linear (ロジスティック回帰)。目的変数は 0 か 1。

群ごと伏せると、試験側の群を学習側で見ていないので、group_mean は mean と同じになる。

分け方で基準が変わる

同じ表でも、行を無作為に分けるか、グループごとに分けるかで点数が大きく変わる。たとえば国 × 1 年の平均寿命を 1 人あたり GDP、人口、都市人口の割合で予測すると (WDI、2022 年、207 か国、repeat 3 つの平均、2026-10-10):

基準行を無作為に 5 分割地域ごとに 5 分割
mean-0.010-0.340
group_mean0.470-0.340
linear0.6270.524

地域ごとに分けると、全体の平均すら大きく外れる。試験側の地域の平均が学習側と違うため。どちらの分け方が本番に近いかは、モデルを何に使うかで決まる。使い道ごとの分け方の選び方は別の問いで、ここでは扱わない。両方を書いておけば、後のモデルの改善が地域を越えて効くのかが分かる。

書き出すもの

  • 目的変数の分布と、変換したならその理由
  • 欠損の数、欠けた単位の特徴、除いた行数と偏りうる向き
  • 強く相関する特徴量の組
  • 目的変数の空間的な偏り
  • 基準ごとの RMSE、MAE、R2 を、分け方ごとに

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.