• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Perturbation Robust and Interpretable Deep Learning Models and Evaluation of Their Interpretability

Research Project

Project/Area Number 21J14143
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionHosei University
Research Fellow 北田 俊輔  法政大学, 理工学研究科, 特別研究員(DC2)
Project Period (FY) 2021-04-28 – 2023-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Keywords人工知能 / 深層学習 / 自然言語処理 / 解釈可能性 / 注意機構 / 敵対的摂動
Outline of Research at the Start

人工知能技術の核を成している深層学習は、従来の古典的な手法と比べてタスクに対する予測性能が非常に高い反面、具体的な予測の過程を解釈しづらい問題がある。深層学習モデルの予測を解釈する上で注意機構の重みを利用した方法が盛んに研究されているが、この機構は微小なノイズや摂動に脆弱であることが知られている。本研究では敵対的学習と呼ばれる、モデルをあえて騙すような摂動を付加する学習法に着目し、これを注意機構に応用することで摂動に頑健で解釈性の高い予測の根拠を提示可能な深層学習モデルの確立を目的とする。更に注意機構の重みを利用した予測の解釈法が提示する根拠に対する評価指標を確立し、モデルの解釈性を評価する。

Outline of Annual Research Achievements

本研究では、解釈性の高い予測の根拠を提示可能な深層学習モデルの予測精度向上を目的とし、以下の2項目に焦点を当てて研究を行う: (1) 摂動に頑健で解釈可能な深層学習モデルの確立、(2) 予測の解釈手法が提示する根拠に対する評価指標の確立。2021年度は前者について研究を実施した。注意機構を有する深層学習モデルに対して、学習時に注意機構をあえて騙すような摂動を付加することで摂動に頑健となるよう訓練可能にする手法を模索した。提案手法の評価には、学習時に摂動を付加する部分(例: 入力、注意機構)および、ノイズの種類(ランダムノイズ、敵対的ノイズ)を比較して、提案手法の有効性を議論した。提案手法は自然言語処理に関わらず注意機構を有する深層学習モデル全般に適用可能な手法であるため、申請者がこれまで研究を進めてきた自然言語処理と画像処理の融合モデルや、医療分野における自動診断システム等の分野に対しても効果検証を進めている。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2021年度は摂動に頑健で解釈可能な深層学習モデルの確立に向けて研究を進めてきた。深層学習モデルの予測の解釈に利用される注意に対して頑健となるような摂動の付加方法について検討した結果、ランダムな摂動ではなく敵対的な摂動を付与するほうがモデルの解釈性や予測性能が向上することを確認できた。これらは当初予定していた自然言語処理の諸問題、特に予測の解釈が必要となるカテゴリ分類や感情分析、質問応答、自然言語推論等へ適用して得られた結果である。こうして得られた研究結果を元に論文を執筆し、国際的にも認知度が高いオープンアクセスジャーナルに論文が採録されるまでに至った。

Strategy for Future Research Activity

2022年度は予測の解釈手法が提示する根拠に対する評価指標の確立に向けて研究を進める。まずは既存の指標を用いた解釈性の自動評価を行う。具体的には既存の評価指標であるピアソンの相関を用いて、注意の重みと推論結果に対する勾配を元にした重要度の関係を評価する。この分析と並行して、深層学習モデルに対する新たな解釈性評価指標の考案を行う。具体的には人手でキーワードが付与されたニュース記事や、解答根拠が人手で付与されている質問応答データセットを用いて深層学習モデルを学習させ、注意の重みや勾配による重要度が人手のアノテーションとどの程度一致しているかを分析する。本研究ではモデルの解釈性を評価するために、これまで考慮されてこなかった認知心理学的視点による評価を検討する。これらの解釈性評価指標を元に、これまで検討してきた摂動に頑健な解釈可能な深層学習手法を評価する。更に、モデルが提示する予測根拠に対してクラウドソーシングを用いた人手による直接的な解釈性の評価を同時に進め、深層学習モデルに対して、我々が提案する予測の解釈手法の妥当性を評価する。

Report

(1 results)
  • 2021 Annual Research Report

Research Products

(6 results)

All 2022 2021

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (4 results)

  • [Journal Article] Ad Creative Discontinuation Prediction with Multi-Modal Multi-Task Neural Survival Networks2022

    • Author(s)
      Shunsuke Kitada, Hitoshi Iyatomi, Yoshifumi Seki
    • Journal Title

      Applied Sciences

      Volume: 12

    • DOI

      10.3390/app12073594

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Attention Meets Perturbations: Robust and Interpretable Attention With Adversarial Training2021

    • Author(s)
      Shunsuke Kitada, Hitoshi Iyatomi
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 92974-92985

    • DOI

      10.1109/access.2021.3093456

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] ViT-CLT: パッチ分割した文字画像から偏旁冠脚を考慮した文書分類2022

    • Author(s)
      津嶋祐介、青木匠、北田俊輔、彌冨仁
    • Organizer
      言語処理学会第28回年次大会 (NLP2022)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 書き手と読み手の怒りの感情認識の差の原因となる表現の獲得2022

    • Author(s)
      中川翼、北田俊輔、彌冨仁
    • Organizer
      言語処理学会第28回年次大会 (NLP2022)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 効果の高いランディングページ作成支援に向けた広告テキストからの効果予測および推薦モデルの構築2021

    • Author(s)
      北田俊輔、岩崎祐貴、富樫陸、山口光太、彌冨 仁
    • Organizer
      NLP若手の会 第16回シンポジウム (YANS2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 文章の書き手が持つ感情と読み手が受ける感情の差に関する初期調査および考察2021

    • Author(s)
      中川 翼、北田 俊輔、彌冨 仁
    • Organizer
      NLP若手の会 第16回シンポジウム (YANS2021)
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi