Development of Perturbation Robust and Interpretable Deep Learning Models and Evaluation of Their Interpretability
| Project/Area Number |
21J14143
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Hosei University |
|---|
| Research Fellow |
北田 俊輔 法政大学, 理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 人工知能 / 深層学習 / 自然言語処理 / 解釈可能性 / 注意機構 / 敵対的摂動 |
|---|
| Outline of Research at the Start |
人工知能技術の核を成している深層学習は、従来の古典的な手法と比べてタスクに対する予測性能が非常に高い反面、具体的な予測の過程を解釈しづらい問題がある。深層学習モデルの予測を解釈する上で注意機構の重みを利用した方法が盛んに研究されているが、この機構は微小なノイズや摂動に脆弱であることが知られている。本研究では敵対的学習と呼ばれる、モデルをあえて騙すような摂動を付加する学習法に着目し、これを注意機構に応用することで摂動に頑健で解釈性の高い予測の根拠を提示可能な深層学習モデルの確立を目的とする。更に注意機構の重みを利用した予測の解釈法が提示する根拠に対する評価指標を確立し、モデルの解釈性を評価する。
|
| Outline of Annual Research Achievements |
本研究では、解釈性の高い予測の根拠を提示可能な深層学習モデルの予測精度向上を目的とし、以下の2項目に焦点を当てて研究を行う: (1) 摂動に頑健で解釈可能な深層学習モデルの確立、(2) 予測の解釈手法が提示する根拠に対する評価指標の確立。2021年度は前者について研究を実施した。注意機構を有する深層学習モデルに対して、学習時に注意機構をあえて騙すような摂動を付加することで摂動に頑健となるよう訓練可能にする手法を模索した。提案手法の評価には、学習時に摂動を付加する部分（例: 入力、注意機構）および、ノイズの種類（ランダムノイズ、敵対的ノイズ）を比較して、提案手法の有効性を議論した。提案手法は自然言語処理に関わらず注意機構を有する深層学習モデル全般に適用可能な手法であるため、申請者がこれまで研究を進めてきた自然言語処理と画像処理の融合モデルや、医療分野における自動診断システム等の分野に対しても効果検証を進めている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度は摂動に頑健で解釈可能な深層学習モデルの確立に向けて研究を進めてきた。深層学習モデルの予測の解釈に利用される注意に対して頑健となるような摂動の付加方法について検討した結果、ランダムな摂動ではなく敵対的な摂動を付与するほうがモデルの解釈性や予測性能が向上することを確認できた。これらは当初予定していた自然言語処理の諸問題、特に予測の解釈が必要となるカテゴリ分類や感情分析、質問応答、自然言語推論等へ適用して得られた結果である。こうして得られた研究結果を元に論文を執筆し、国際的にも認知度が高いオープンアクセスジャーナルに論文が採録されるまでに至った。
|
| Strategy for Future Research Activity |
2022年度は予測の解釈手法が提示する根拠に対する評価指標の確立に向けて研究を進める。まずは既存の指標を用いた解釈性の自動評価を行う。具体的には既存の評価指標であるピアソンの相関を用いて、注意の重みと推論結果に対する勾配を元にした重要度の関係を評価する。この分析と並行して、深層学習モデルに対する新たな解釈性評価指標の考案を行う。具体的には人手でキーワードが付与されたニュース記事や、解答根拠が人手で付与されている質問応答データセットを用いて深層学習モデルを学習させ、注意の重みや勾配による重要度が人手のアノテーションとどの程度一致しているかを分析する。本研究ではモデルの解釈性を評価するために、これまで考慮されてこなかった認知心理学的視点による評価を検討する。これらの解釈性評価指標を元に、これまで検討してきた摂動に頑健な解釈可能な深層学習手法を評価する。更に、モデルが提示する予測根拠に対してクラウドソーシングを用いた人手による直接的な解釈性の評価を同時に進め、深層学習モデルに対して、我々が提案する予測の解釈手法の妥当性を評価する。
|
Report
(1 results)
Research Products
(6 results)
