2020 Fiscal Year Annual Research Report
解釈可能な予測モデル獲得のための離散最適化に基づく効率良い学習アルゴリズムの研究
| Project/Area Number |
20J20654
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
金森 憲太朗 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | 解釈可能性 / 説明可能性 / 混合整数線形計画法 / 反実仮想説明法 / 決定木 / 公平性 |
|---|
| Outline of Annual Research Achievements |
本研究では，機械学習の解釈可能性を実現するために，予測精度の向上以外を目的とした非標準的な機械学習問題を考察し，整数計画法をはじめとする離散最適化手法に基づく効率良いアルゴリズムを開発することを目標としている．
当該年度では主に，機械学習モデルの説明手法の一つである「反実仮想説明法（Counterfactual Explanation; CE）」に着目した．CEは，ユーザが機械学習モデルから望ましい結果を得るための特徴量の変更方法（アクション）を説明として提示する手法である．申請者は，CEの実用性を向上させるために，以下の2つの研究に取り組んだ．
始めに，CEが提示するアクション自体の実現可能性の向上に取り組んだ．具体的には，データ分布の特性（特徴量間の相関や外れ値性）を考慮したアクションの実現可能性の評価指標として，マハラノビス距離と局所外れ値因子に基づく新たな目的関数を提案し，混合整数線形計画法に基づく最適化方法を開発した[Kanamori+, IJCAI2020]．
次に，CEの新たな枠組みとして，特徴量の変更方法だけでなく，変更順序も説明として提示する「順序付き反実仮想説明法」を提案した．この枠組みの実現のために，特徴量間の因果関係などに基づいて特徴量変更順序のコストを評価する目的関数を導入し，混合整数線形計画法に基づく最適化方法を開発した[Kanamori+, AAAI2021]．
CE以外の成果としては，機械学習において近年重要視されている性質である「公平性」に着目し，学習済み決定木が公平になるように修正する後処理方法の研究を行った．具体的には，予測多重性や解釈安定性に基づく決定木間の非類似度指標を導入し，最小の編集操作によって公平性制約を満たすように決定木を編集するタスクを最適化問題として定式化した．さらに，混合整数線形計画法に基づく最適化方法を開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当該年度では，主に混合整数線形計画法に基づく反実仮想説明法（CE）の研究に取り組んだ．その研究成果をまとめた主著論文は，人工知能分野の最難関会議である国際会議 IJCAI2020（採択率12.6%）と AAAI2021（採択率21.4%）にそれぞれ採択されるなど，高く評価されている．これらの研究成果は，当初の年次計画には存在しなかったものだが，「解釈可能性の実現を目的とした機械学習問題に対する離散最適化に基づく解法の開発」という本研究課題の目標に合致した研究成果であり，これについて大きな進展があったと考えている．
CE以外の研究成果としては，公平性を考慮した決定木編集の研究に関する論文が，人工知能学会論文誌に採録決定し，2021年7月に発行予定である．今後は，この研究成果に基づき，次年度の年次計画の通り，より効率良い最適化方法の開発と，機械学習モデルの頑健性などといった公平性以外の指標への拡張を行うことが目標である．
その他の成果としては，人工知能学会第115回人工知能基本問題研究会において招待講演を依頼され，申請者の上記の研究成果について口頭発表を行った．これは，申請者がこれまでに行ってきた解釈可能性実現のための離散最適化手法に基づく一連の研究成果が高く評価された結果であると自負しており，本研究課題の進展を示すものであると考えている．
|
| Strategy for Future Research Activity |
今後は，主に以下の方針に基づいて研究開発を進める．
まず，研究項目1「モデル列挙アルゴリズムの開発」に関して，申請者が特別研究員採用前に研究を行ってきた予測モデル列挙アルゴリズムと，第一年度に研究を行った反実仮想説明法（CE）を組み合わせ，より効率良い厳密または近似的な説明列挙アルゴリズムを新たに開発する．具体的には，これまでの列挙アルゴリズムの列挙対象を，機械学習モデルだけでなくLIMEやCEに代表される機械学習モデルの説明手法に拡張し，これらの説明手法に対して，効率良く列挙を行う厳密または近似アルゴリズムの構築に取り組む．
また，研究項目2「統計的有意な離散構造発見」に関して，列挙された複数の説明から，機械学習モデルやその予測結果の解釈に関して重要となる離散構造を高速発見する手法を開発する．具体的には，列挙された説明の集合から，予測精度や公平性などの指標に関して統計的に有意な部分構造を発見する方法を開発する．または，列挙された説明の集合を，決定木などの解釈可能な形で構造化・要約する方法を開発する.
開発した手法は，実装して実データ上で評価実験を行い，その結果を元に改善を行った後，その成果を国際会議または学術雑誌に投稿し発表する．
|
Research Products
(11 results)
