A Study on Statistical Interpretation Methods for Machine Learning Results Using Shapley Values

• Project/Area Number: 20K11938
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Kumamoto University
• Principal Investigator: 野原 康伸 熊本大学, 大学院先端科学研究部(工), 特任准教授 (30624829)
• Co-Investigator(Kenkyū-buntansha): 松本 晃太郎 久留米大学, 付置研究所, 助教 (60932217)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 機械学習 / 解釈手法 / シャプレー値 / 説明性の定量化 / 変数重要度 / 統計的仮説検定法 / 階層モデル

Outline of Research at the Start

近年、深層学習をはじめとする機械学習技術が注目され導入が進められつつあるが、なぜそのような結果が得られたかの説明・解釈性が強く求められている。本研究では、予測器の入力と出力の関係に注目してブラックボックス的な機械学習結果を解釈する手法を開発する。
開発手法では、経済学の分野で用いられている「複数人が協同した場合の利益の公平分配方法であるシャプレー値」を応用することで、数千にもおよぶ各説明変数が出力に及ぼす影響を線形和の形で適切に分離し、線形モデル等を前提として構築されている仮説検定や信頼区間といった統計学的な解釈手法をブラックボックスモデルに適用できるようにする。

Outline of Annual Research Achievements

近年、深層学習をはじめとする機械学習技術が注目され導入が進められつつあるが、なぜそのような結果が得られたかの説明・解釈性が強く求められている。本研究では、予測器の入力と出力の関係に注目してブラックボックス的な機械学習結果を解釈する手法を開発する。開発手法では、経済学の分野で用いられている「複数人が協同した場合の利益の公平分配方法であるシャプレー値」を応用することで、数千にもおよぶ各説明変数が出力に及ぼす影響を線形和の形で適切に分離し、線形モデル等を前提として構築されている仮説検定や信頼区間といった統計学的な解釈手法をブラックボックスモデルに適用できるようにすることを目的とする。
本年度は、説明変数間に相関がある場合において、シャプレー値による機械学習結果の解釈がどのように変わるかの検討を実施した。まず、シャプレー値によって機械学習モデルをどれだけ正確に解釈できたかという説明性を定量的に評価する手法を提案した。続いて、シャプレー値の定義に立ち戻って、説明変数に相関がある場合における貢献度の定量化を実施した。この結果、相関があっても、機械学習モデルの説明性は低下しないが、説明変数の貢献を正しく分配できないことを定量的に示した。そして、説明変数同士の相関がない場合においては、各説明変数のシャプレー値の分散(標準偏差)が大きい順に、説明変数を選択していくことで、使用できる説明変数の数が制限された場合における説明性を最大化できることを証明した。これまで各変数の重要性を表す指標としてシャプレー値の絶対値の和が広く用いられてきたが、理論的な裏付けはなかった。変数重要度としてシャプレー値の分散を用いることで、説明性を最大化できるという理論的な裏付けを示せた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

これまでの研究結果から、説明変数同士に相関がある場合にシャプレー値による解釈が難しくなることが判明した。このため、当初の予定を変更して、シャプレー値の定義に立ち戻って、説明変数に相関がある場合における貢献度の定量化を実施することとなった。問題点が明確となったことで、説明変数同士の相関がない場合における説明性を最大にする変数選択手法が、証明付きで提案できた。当初想定したものとは異なるが、予想外の研究の進展であり、この成果は国際会議に投稿中である。

Strategy for Future Research Activity

説明変数同士に相関がある場合にどのように結果を提示すべきかについて、これまでに開発した変数グループ化を活用しながら、検討を進める。
また、シャプレー値を活用して構築した階層モデルに対して、線形性の前提を基に構築された各種統計的手法の適用を検討する。仮説検定や信頼区間、p値といった統計的解釈手法をどのように修正すればブラックボックスモデルに適用できるかを明らかにする。

Research Products

• [Journal Article] Delirium Prediction Using Machine Learning Interpretation Method and Its Incorporation into a Clinical Workflow (2023)
  • Author(s): Matsumoto Koutarou、Nohara Yasunobu、Sakaguchi Mikako、Takayama Yohei、Fukushige Shota、Soejima Hidehisa、Nakashima Naoki
  • Journal Title: Applied Sciences Volume: 13 Issue: 3 Pages: 1564-1564
  • DOI: 10.3390/app13031564
  • Peer Reviewed / Open Access
• [Journal Article] Communications through contemporary tools of information and communication technology: Health among separated family members (2022)
  • Author(s): Nishikitani M, Ariyoshi M, Nohara Y, Umihara J
  • Journal Title: JMIR Formative Research Volume: - Issue: 8 Pages: e34949-e34949
  • DOI: 10.2196/34949
  • Peer Reviewed / Open Access
• [Journal Article] Explanation of Machine Learning Models Using Shapley Additive Explanation and Application for Real Data in Hospital (2022)
  • Author(s): Yasunobu Nohara, Koutarou Matsumoto, Hidehisa Soejima, Naoki Nakashima
  • Journal Title: Computer Methods and Programs in Biomedicine Volume: 214 Pages: 106584-106584
  • DOI: 10.1016/j.cmpb.2021.106584
  • Peer Reviewed
• [Journal Article] Machine Learning for Classification of Postoperative Patient Status Using Standardized Medical Data (2022)
  • Author(s): Takanori Yamashita, Yoshifumi Wakata, Hideki Nakaguma, Yasunobu Nohara, Shinj Hato, Susumu Kawamura, Shuko Muraoka, Masatoshi Sugita, Mihoko Okada, Naoki Nakashima, Hidehisa Soejima
  • Journal Title: Computer Methods and Programs in Biomedicine Volume: 214 Pages: 106583-106583
  • DOI: 10.1016/j.cmpb.2021.106583
  • Peer Reviewed / Open Access
• [Journal Article] Portable Health Clinic for Sustainable Care of Mothers and Newborns in Rural Bangladesh (2021)
  • Author(s): Kimiyo Kikuchi, Yoko Sato, Rieko Izukura, Mariko Nishikitani, Kiyoko Kato, Seiichi Morokuma, Meherun Nessa, Yasunobu Nohara, Fumihiko Yokota, Ashir Ahmed, Rafiqul Islam Maruf, Naoki Nakashima
  • Journal Title: Computer Methods and Programs in Biomedicine Volume: 207 Pages: 106156-106156
  • DOI: 10.1016/j.cmpb.2021.106156
  • Peer Reviewed
• [Journal Article] Association of serum bilirubin levels with risk of cancer development and total death (2021)
  • Author(s): Toyoshi Inoguchi, Yasunobu Nohara, Chinatsu Nojiri and Naoki Nakashima
  • Journal Title: Scientific Reports Volume: 11 Issue: 1
  • DOI: 10.1038/s41598-021-92442-2
  • Peer Reviewed / Open Access
• [Journal Article] 患者状態把握を目的とした機械学習と共起有向グラフによる診療プロセス解析 (2021)
  • Author(s): 山下 貴範, 若田 好史, 中熊 英貴, 野原 康伸, 岡田 美保子, 中島 直樹, 副島 秀久
  • Journal Title: 医療情報学 Volume: 41 Pages: 29-37
  • Peer Reviewed
• [Journal Article] A functional learning health system in Japan: Experience with processes and information infrastructure toward continuous health improvement (2020)
  • Author(s): Soejima Hidehisa、Matsumoto Koutarou、Nakashima Naoki、Nohara Yasunobu、Yamashita Takanori、Machida Jiro、Nakaguma Hideki
  • Journal Title: Learning Health Systems Volume: e10252 Issue: 4 Pages: 1-12
  • DOI: 10.1002/lrh2.10252
  • Peer Reviewed
• [Journal Article] Stroke Prognostic Scores and Data-Driven Prediction of Clinical Outcomes After Acute Ischemic Stroke (2020)
  • Author(s): Matsumoto Koutarou、Nohara Yasunobu、Soejima Hidehisa、Yonehara Toshiro、Nakashima Naoki、Kamouchi Masahiro
  • Journal Title: Stroke Volume: 51 Issue: 5 Pages: 1477-1483
  • DOI: 10.1161/strokeaha.119.027300
  • Peer Reviewed
• [Presentation] Developing a Learning Health System for Delirium using XAI (2022)
  • Author(s): Koutarou Matsumoto, Yasunobu Nohara, Mikako Sakaguchi, Yohei Takayama, Hidehisa Soejima and Naoki Nakashima
  • Organizer: 12th Biennial Conference of the Asia Pacific Association for Medical Informatics
  • Int'l Joint Research
• [Presentation] Explanation of Machine Learning Models Using SHAP Considering Interaction Effects (2022)
  • Author(s): Yasunobu Nohara, Toyoshi Inoguchi, Chinatsu Nojiri and Naoki Nakashima
  • Organizer: 2nd ICML Workshop on Interpretable Machine Learning in Healthcare
  • Int'l Joint Research
• [Presentation] 交互作用を考慮したSHAPによる機械学習モデルの解釈 (2022)
  • Author(s): 野原 康伸, 井口 登與志, 野尻 千夏, 中島 直樹
  • Organizer: 第26回日本医療情報学会春季学術大会
• [Presentation] Predictors of Intracerebral Hematoma Enlargement Using Brain CT Images in Emergency Medical Care (2021)
  • Author(s): Kazunori Oka, Takumi Hirahara, Yasunobu Nohara, Sozo Inoue, Koichi Arimura, Syoji Kobashi and Koji Iihara
  • Organizer: 5th IEEE International Conference on Cybernetics
  • Int'l Joint Research
• [Presentation] 交互作用を考慮したSHAPによる機械学習モデルの解釈手法の提案 (2021)
  • Author(s): 野原 康伸, 井口 登興志, 野尻 千夏, 中島 直樹
  • Organizer: 第41回医療情報学連合大会
• [Presentation] Explanation of Machine Learning Models Using Shapley Additive Explanation and Application for Real Data in Hospital (2020)
  • Author(s): Yasunobu Nohara, Koutarou Matsumoto, Hidehisa Soejima, Naoki Nakashima
  • Organizer: 11th Biennial Conference of the Asia Pacific Association for Medical Informatics
  • Int'l Joint Research
• [Presentation] Machine Learning for Classification of Postoperative Patient Status Using Standardized Medical Data (2020)
  • Author(s): Takanori Yamashita, Yoshifumi Wakata, Hideki Nakaguma, Yasunobu Nohara, Shinji Hato, Susumu Kawamura, Shuko Muraoka, Masatoshi Sugita, Mihoko Okada, Naoki Nakashima, Hidehisa Soejima
  • Organizer: 11th Biennial Conference of the Asia Pacific Association for Medical Informatics
  • Int'l Joint Research