10·01
8 min
XAIとは何か / Rudin(2019)批判
— 解釈可能性をめぐる議論
「説明可能 AI」と「解釈可能モデル」は別物、という Rudin の主張を読む。
// xai / what-is
READ →
ブラックボックスを開く 10 手法。SHAP、LIME、Grad-CAM、Counterfactual から Concept Bottleneck まで、説明可能 AI の主要技法を「臨床で誤読しない」視点で 10 本に整理。Rudin (2019) 批判も含めて立場を明示します。
「説明可能 AI」と「解釈可能モデル」は別物、という Rudin の主張を読む。
GAM / EBM / CBM 系と post-hoc 説明法の使い分け。研究設計の出発点。
モデル全体の振る舞いを記述する 5 手法。それぞれの仮定と注意点。
個別予測の周辺で線形モデルを当てる発想。サンプリング設計が要。
Tree / Kernel / Deep 各 explainer の違い、計算量、誤読パターン。
個別予測を反転させる最小変更を提示。臨床判断補助として有望。
勾配ベースの注目領域可視化。ヒートマップの過信を避ける読み方。
ベースラインからの積分による帰属。SmoothGrad のノイズ平均化。
Attention 重みは説明として信頼できるか。Jain & Wallace 議論を読む。
予測経路に「臨床概念」や「プロトタイプ」を強制する設計の利点。