| 研究課題/領域番号 |
21J14143
|
|---|
| 研究機関 | 法政大学 |
|---|
研究代表者 |
北田 俊輔 法政大学, 理工学研究科, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2021-04-28 – 2023-03-31
|
| キーワード | 人工知能 / 深層学習 / 自然言語処理 / 解釈可能性 / 注意機構 / 敵対的摂動 |
|---|
| 研究実績の概要 |
本研究では、解釈性の高い予測の根拠を提示可能な深層学習モデルの予測精度向上を目的とし、以下の2項目に焦点を当てて研究を行う: (1) 摂動に頑健で解釈可能な深層学習モデルの確立、(2) 予測の解釈手法が提示する根拠に対する評価指標の確立。2021年度は前者について研究を実施した。注意機構を有する深層学習モデルに対して、学習時に注意機構をあえて騙すような摂動を付加することで摂動に頑健となるよう訓練可能にする手法を模索した。提案手法の評価には、学習時に摂動を付加する部分（例: 入力、注意機構）および、ノイズの種類（ランダムノイズ、敵対的ノイズ）を比較して、提案手法の有効性を議論した。提案手法は自然言語処理に関わらず注意機構を有する深層学習モデル全般に適用可能な手法であるため、申請者がこれまで研究を進めてきた自然言語処理と画像処理の融合モデルや、医療分野における自動診断システム等の分野に対しても効果検証を進めている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2021年度は摂動に頑健で解釈可能な深層学習モデルの確立に向けて研究を進めてきた。深層学習モデルの予測の解釈に利用される注意に対して頑健となるような摂動の付加方法について検討した結果、ランダムな摂動ではなく敵対的な摂動を付与するほうがモデルの解釈性や予測性能が向上することを確認できた。これらは当初予定していた自然言語処理の諸問題、特に予測の解釈が必要となるカテゴリ分類や感情分析、質問応答、自然言語推論等へ適用して得られた結果である。こうして得られた研究結果を元に論文を執筆し、国際的にも認知度が高いオープンアクセスジャーナルに論文が採録されるまでに至った。
|
| 今後の研究の推進方策 |
2022年度は予測の解釈手法が提示する根拠に対する評価指標の確立に向けて研究を進める。まずは既存の指標を用いた解釈性の自動評価を行う。具体的には既存の評価指標であるピアソンの相関を用いて、注意の重みと推論結果に対する勾配を元にした重要度の関係を評価する。この分析と並行して、深層学習モデルに対する新たな解釈性評価指標の考案を行う。具体的には人手でキーワードが付与されたニュース記事や、解答根拠が人手で付与されている質問応答データセットを用いて深層学習モデルを学習させ、注意の重みや勾配による重要度が人手のアノテーションとどの程度一致しているかを分析する。本研究ではモデルの解釈性を評価するために、これまで考慮されてこなかった認知心理学的視点による評価を検討する。これらの解釈性評価指標を元に、これまで検討してきた摂動に頑健な解釈可能な深層学習手法を評価する。更に、モデルが提示する予測根拠に対してクラウドソーシングを用いた人手による直接的な解釈性の評価を同時に進め、深層学習モデルに対して、我々が提案する予測の解釈手法の妥当性を評価する。
|
