データリーケージとは?
モデルを作る過程で、本来は使ってはいけない情報が入り込むこと。代表例は、予測時点より後に得られる情報を説明変数に入れてしまうこと(例:退院時 FIM を入院時の予測モデルに入れる)。
データリーケージを、グラフで体験する
— Interactive Data Leakage Demo
データリーケージ(data leakage)とは、本来は予測時点で使えない情報や、テストデータの情報が学習過程に入り込んでしまう現象です。見かけ上の AUC や Accuracy は不自然に高くなりますが、実際の未知患者では役に立たないモデルになります。「内部検証で AUC=0.95 だったのに、別施設で試したら 0.65 まで下がった」── 多くの場合、犯人はこのリーケージです（理論的整理は 09·02 データリーケージとは何か を参照）。本デモでは、リーケージの強さをスライダーで動かしながら、赤いモデル(リーケージあり)だけが急に高性能になる現象を体感します。
// HOW TO USE
右の操作パネルから 「リーケージの強さ」 をまず 0 にして、青(正しいモデル)と赤(リーケージあり)の AUC を比較。次に 0.7〜1.0 へ徐々に上げていくと、赤の AUC・Accuracy だけが急上昇するのが見えるはずです。これが「答えに近い未来情報」を覗き見した結果です。
// インタラクティブデモ：データリーケージを体験する
// SAFE vs LEAKED INFORMATION
横軸:入院時点で使える情報 / 縦軸:退院後に近い「答えを含む情報」。
歩行自立あり
歩行自立なし
正しい境界
リーケージ境界
// TIP 赤の AUC が青より大幅に高い時 → モデルが賢いのではなく「答えを覗いている」可能性あり。
医療AIで起こりやすい例
- 退院時 FIM を、退院時歩行自立の予測に使う
- 入院期間や退院先など、結果に近い情報を入れる
- 全データで標準化・欠損補完・特徴選択してから分割する
- 同じ患者の複数データが訓練とテストに分かれて入る
対策
- いつの時点で予測するモデルかを先に決める
- 説明変数がその時点で入手可能か確認する
- 前処理は訓練データの中だけで学習する(Pipeline)
- 患者単位・施設単位で分割する(GroupKFold)
- 可能なら外部検証を行う
// RELATED関連記事で深く学ぶ
09·0210 min
データリーケージとは何か
— 未来の情報が紛れ込む瞬間
本デモの理論的解説記事。10 種類のリーケージパターン、Pipeline での防止、外部検証の必須性。
// pitfalls / leakageREAD →
02·0610 min
データリーケージを防ぐ前処理
— trainでfit、testはtransformのみ
Pipeline と交差検証で、前処理パラメータが test に漏れない構造を作る実装パターン。
// data-prep / leakageREAD →
14·0215 min
交差検証を、foldの入れ替わりで体験する
— k-fold CV Demo
姉妹デモ。前処理を fold 内で閉じるべき理由が体感的に分かる。
// part 14 / demoREAD →
09·0615 min
欠測バイアスと Pipeline 内補完
— MCAR / MAR / MNAR と多重代入
補完器を分割前に fit するのもリーケージ。本デモと同じ Pipeline 規律で対処する。
// pitfalls / missingREAD →
09·0713 min
施設差・ドメインシフト
— 外部検証と GroupKFold
同一施設内の評価は楽観的。施設・時間でまたいだ評価がリーケージの究極の防止策。
// pitfalls / domain-shiftREAD →
13·049 min
論文の Methods を書くプロンプト
— 生成AIで研究プロセスを支援する
前処理→分割の順序を Methods に書くプロンプト。リーケージ防止の Methods 記述支援。
// gen-ai / methods-writingREAD →