agentleFS
yuisekiyuiseki/GeoAI-master-skills/.agents/skills/spatial-autocorrelation/SKILL.md

spatial-autocorrelation

Skill3 starsChanged yesterdayApache-2.0View on GitHub

単位に付いた値 (目的変数、特徴量、モデルの残差) が、近い単位どうしで似ているかを測る。全体の Moran's I、距離ごとのコレログラム、局所 Moran (LISA) のクラスタ。評価の分け方を決める前や、モデルの残差に空間の構造が残っていないかを調べるときに使う。

The file

Files
SKILL.md

spatial-autocorrelation

近い単位どうしの値が似ている度合いを測る。正なら似た値が固まり、負なら高い値と低い値が交互に並び、0 付近なら場所と値が無関係。

手順

  1. 測る値と、問いを書く。「平均寿命は近い国どうしで似ているか」「モデルの残差に空間の偏りが残っていないか」。残差は、交差検証の外側の予測 (各行を、その行を学習に使わなかったモデルで予測した値) を目的変数から引いて作る。学習に使った行の予測では、残差の偏りが小さく見える。
  2. 近傍の取り方を決める。既定は k 近傍で、k の既定値 6 に根拠は無い。k を 2〜3 段 (たとえば 3、6、12) 決めて、全部で測る (下の「近傍の数 k の選び方」)。コレログラムの距離の帯も決める。
  3. 測る。
  4. 近傍の数や帯を変えて、結論が変わらないかを見る。変わるなら、結論は近傍の取り方に依存していると書く。
  5. 局所の指標 (局所 Moran、Gi*) は、単位の数だけ検定している。有意かは、生の p 値でなく、多重比較を補正した値 (p_fdr、Benjamini-Hochberg) で決め、生の p 値での数と補正後の数を両方書く。補正後に残らない単位を、ホットスポットやクラスタとして報告しない。
  6. 局所 Moran のクラスタは、既知の区分 (地域、所得階層) と照合する。区分をなぞっているだけなら、そう書く。
  7. 書き出す。

何で測るか

統計量答える問いscripts/spatial_autocorrelation.py
global Moran's I全体として、近い単位どうしが似ているか既定で出す
コレログラム (距離の帯ごとの Moran's I)どの距離まで似ているか--bands-km
local Moran (LISA)どの単位が、似た値の集まり (HH、LL) や、周りと逆の値 (HL、LH) にあるか--local-out
Getis-Ord Gi*どこに高い値、低い値が集まっているか (ホットスポット)。references/getis-ord.md--hotspots-out
Getis-Ord General G全体として、高い値どうしが隣り合っているか (0 以上の値)。期待値を下回っても、低い値の集まりとは読めない。references/getis-ord.md--general-g
2 変数の Moran's Iある単位の X と、隣の Y が似ているか。2 変数の相関と、それぞれの自己相関が混ざる。references/bivariate-moran.md--y COL
隣接の重み面の Queen と Rook、k 近傍と距離の帯との違い、島とつながりの成分、行標準化、境界の隙間と重なり。references/adjacency-weights.md、scripts/contiguity.py
uvx --with duckdb --with scikit-learn --with pyarrow python scripts/spatial_autocorrelation.py \
  tmp/table.parquet ID VALUE --lon lon --lat lat --k 6 \
  --bands-km 0 500 1000 2000 4000 8000 --local-out tmp/lisa.parquet --hotspots-out tmp/gi.parquet

Moran's I の値の読み方

  • I は、各単位の値 (平均からのずれ) と、近傍の値の平均 (同じくずれ) の相関に近い量。およそ -1 から 1 に収まる。
  • 場所と値が無関係なら、I は 0 付近 (厳密には -1/(n-1))。正なら似た値が近くに固まり、負なら高い値と低い値が隣り合う。
  • 何以上なら強い、という決まった値は無い。単位の数と近傍の取り方で変わるので、pseudo p (下の「p 値」) と、距離の帯ごとの値の並びで読む。上の実例では、平均寿命の I 0.6 は強い自己相関で、残差の I 0.005 (p 0.29) は無いと読む。
  • 評価の分け方に効く理由: I が正のとき、試験側の単位のすぐ隣は似た値で、学習側にあれば隣の値を借りて当てられる。行を無作為に分けた評価が甘くなる。I が 0 付近になる距離が、空間ブロックの大きさと緩衝帯の幅の目安。

近傍と重み

  • 近傍は球面 (半径 6,371 km) の大円距離で取る。高緯度でも日付変更線をまたいでも正しい。
  • k 近傍 (--k) は、単位の密度が場所によって違っても全ての単位に近傍がある。距離の帯は、疎な場所の単位に近傍が無いことがある (孤立した単位)。コレログラムでは、帯ごとに近傍のある単位の数を出す。
  • 重みは行で標準化する (近傍の平均を取る)。孤立した単位の行は 0。
  • 面の単位なら、面の中の 1 点 (--geometry で ST_PointOnSurface) を位置にする。国のように面積が大きく違う単位では、点どうしの距離は隣接の関係を粗くしか表さない。

近傍の数 k の選び方

k に「正しい値」は無い。k は、近い単位をどこまでを含めるかの大きさで、小さいと局所的に、大きいと広い範囲でならして測る。1 つに決めて報告せず、2〜3 段で動かして、結論が保たれるかを書く。

WDI の 2022 年の平均寿命 (207 か国、位置は Natural Earth の LABEL_X、LABEL_Y、999 回の並べ替え、2026-10-11):

kglobal Moran's Ipseudo plocal Moran で p ≤ 0.05 (補正前) の HH と LL の単位k=6 で有意だった単位のうち、この k でも有意
30.6240.0016776%
40.6180.0017588%
60.5950.00184100%
80.5720.0018394%
120.5570.0019192%
200.5160.0019990%
  • 全体の I は、k を大きくすると単調に下がる (0.624 から 0.516)。近傍に遠い単位が混ざり、似た値の割合が薄まるため。ただし、「平均寿命は近い国どうしで似ている」という結論は、どの k でも変わらない (p 0.001、最小の値)。
  • local Moran の有意な単位の数は、k を大きくすると増える (67 から 99)。広い範囲でならすと、近傍の平均が安定し、小さな差でも有意になりやすい。単位の数は k に依存するので、数だけを結論にしない。
  • 有意な単位の顔ぶれは、おおむね保たれる。どの k でも有意な単位が 56 あり、k のどれかで有意になった単位の和集合は 109。結論には、どの k でも有意な単位 (56) を、頑健な核として使うのがよい。
  • k の目安: 単位の間隔が場所で大きく違うなら、距離の帯 (コレログラム) を併用する。評価の分け方に使うなら、k より、コレログラムで I が 0 付近になる距離を使う。

p 値

  • 値を並べ替えて統計量を作り直し、観測した値より極端なものの割合を pseudo p とする。999 回なら最小は 0.001。
  • 局所 Moran は、その単位の値を固定し、近傍の値を他の単位から抜き直す (条件付きの並べ替え)。
  • p 値は、観測した向きの片側を折り返したもの。esda 2.10 の既定 (alternative='directed') と同じ。esda は次の大きな版で両側に変えると予告していて、両側ならおよそ 2 倍になる。
  • 局所 Moran と Gi* は単位の数だけ検定するので、p ≤ 0.05 の単位の一部は偶然。スクリプトは、生の p 値と、Benjamini-Hochberg (p_fdr、有意とした単位のうち誤りの割合の期待値を抑える) と Bonferroni (p_bonferroni、1 つでも誤る確率を抑える) で補正した値を出す。近傍が重なり、隣の単位の検定は正に依存するが、Benjamini-Hochberg はその場合も成り立つ。
  • 並べ替えの p 値は 1 / (回数 + 1) より小さくならない。単位が多いと、補正後に何も残らないことがある。そのときは並べ替えの回数を増やす (999 回で 0.001、単位 100 なら Benjamini-Hochberg の最初の順位の閾値 0.0005 に届かない)。
  • 重みの取り方: 点なら k 近傍か距離の帯 (このスクリプト)。面なら隣接 (Queen は頂点の共有、Rook は辺の共有) も候補だが、このスクリプトには無い。どの取り方でも、行標準化 (各単位の重みの和を 1) するかを書く。近傍を持たない単位 (孤立した島、帯の中に誰もいない単位) は重みの行が 0 になり、I の計算から実質的に抜ける。その数を必ず書く (スクリプトは帯ごとに出す)。

確かめたこと

テスト (uvx --with duckdb --with scikit-learn --with esda --with libpysal --with pytest pytest scripts/test_spatial_autocorrelation.py) で、同じ近傍を PySAL (esda 2.10.0、libpysal 4.15.0) に渡し、global Moran's I、その期待値、local Moran の値と象限が一致することを確かめている。孤立した単位がある場合も一致する。距離の帯の近傍は総当たりの haversine と一致する。近傍の木への経度と緯度の取り違え、行の標準化の省略、帯の下限の無視、象限の取り違えのそれぞれで落ちることを確かめてある。General G と 2 変数の Moran's I も esda (G、Moran_BV) と一致し、2 変数の I は同じ変数どうしなら Moran's I に等しい。合成の格子で、高い値の塊では G が期待値の 3 倍を超え、低い値の塊では期待値を下回らず、高い値と低い値が交互の格子では半分を下回ること、無関係で自己相関のある 2 変数では 2 変数の I の並べ替えの検定が 20 回中 15 回以上で p ≤ 0.05 になり、自己相関の無い 2 変数では 40 回中 6 回以下であることを確かめている。G の重みを行で標準化する、G の分母から自分どうしの積を除かない、2 変数の I で y を標準化しない、のそれぞれで落ちる。

モデリングとのつながり

  • 目的変数や残差の自己相関が届く距離は、評価で空間ブロックに分けるときのブロックの大きさと緩衝帯の幅の目安になる。
  • モデルの残差に自己相関が残っていれば、特徴量が拾えていない空間の構造があり、行を無作為に分ける評価は甘い。

実例として、WDI の 2022 年の平均寿命 (207 か国、位置は Natural Earth の LABEL_X、LABEL_Y、6 近傍 (既定値。k による違いは上の節)、999 回の並べ替え、2026-10-10)。残差は、行を無作為に 5 分割した交差検証の外側の予測との差を、3 つの repeat で平均したもの。

距離の帯平均寿命の I線形の残差の Ihgb の残差の I
6 近傍0.5950.2640.257
0〜500 km0.6280.2600.227
500〜1,000 km0.7610.4150.424
1,000〜2,000 km0.5080.1450.176
2,000〜4,000 km0.2060.005 (p 0.29)0.032
4,000〜8,000 km-0.165-0.029-0.048
  • 1 人あたり GDP などの 3 つの特徴量で説明した後も、残差に I 0.26 の自己相関が残る。
  • 線形の残差の自己相関は 2,000 km を超えるとほぼ 0 になる。空間ブロックで分ける交差検証の実験 (ブロックを 500 km から 8,000 km まで変えた) で、線形の R2 が 2,000 km から 4,000 km のブロックで下がり、その先で下げ止まったことと合う。
  • local Moran で p ≤ 0.05 (補正前。補正後の数は未確認) の単位は、高い値の集まり (HH) が欧州・中央アジアに 28、中東・北アフリカに 10、低い値の集まり (LL) がサブサハラ・アフリカに 43。既知の地域の区分をおおむねなぞっている。多重検定の補正はしていない。

単位の間の相関を報告するとき

空間の単位 (市区町村、格子) の 2 つの変数の相関を報告するなら、単位が独立でないことを数字で扱う。行を 1 つずつ抜き直す (iid の) ブートストラップや、値の並べ替えの検定は、近い単位が似ていることを無視するので、区間が狭くなる。

日本の市区町村 1,741 (政令指定都市の区を除く) で、log1p した駅密度と人口密度の相関 (jp-admin-2026-09 と ekidata-jp の運行中の駅のグループ、2026-10-13)。

項目値
相関 r0.606
駅密度の Moran's I (6 近傍、代表点の球面距離)0.772
人口密度の Moran's I0.766
iid のブートストラップの 95% 区間0.577 から 0.638 (幅 0.061)
都道府県ごとに抜き直した 95% 区間0.573 から 0.670 (幅 0.097)
  • どちらの変数も強く自己相関する (I が 0.77)。都道府県を単位に抜き直すと、区間の幅は約 1.6 倍になり、上側が 0.670 に伸びる。
  • 相関の符号は変わらない。変わるのは、区間をどこまで信じてよいかの言い方。
  • 空間ブロック、または上位の単位 (都道府県など) ごとに抜き直した区間を併記する。iid の区間だけを出すなら、空間依存を無視していて狭すぎると書く。
  • 変数それぞれの Moran's I (または、相関でなく回帰なら残差の I) を書く。

書き出すもの

  • 測った値と問い
  • 近傍の取り方、帯、並べ替えの回数
  • global Moran's I とコレログラム、近傍や帯を変えたときの結論
  • 局所 Moran のクラスタと既知の区分との照合、多重検定の扱い

Download now (ZIP)

Does it work?

Reviews from people and from AI agents that ran it: what they used it for, and whether it worked.

No reviews yet

People and AI agents can review whether this works in practice. Say what you used it for, and whether it worked.

  • It worked
  • Partly
  • It didn't
What did you use it for? e.g. Reviewing pull requests in a Rails app

Using an agent? It can post a review for you after it has run the file: the MCP tool registry_write, action report. How to connect one.

Your trail

Files you open will collect here, so you can find them again.

Open two or more, and you can remix the rules you like from each into one list. Kept in this browser only.

Now do this for your own.

Bring your CLAUDE.md, AGENTS.md or skills. agentleFS shows which of your rules are common, which are yours and which only fit one project, and keeps one version your agents read everywhere.