• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of Perturbation Robust and Interpretable Deep Learning Models and Evaluation of Their Interpretability

Research Project

Project/Area Number 21J14143
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionHosei University

Principal Investigator

北田 俊輔  法政大学, 理工学研究科, 特別研究員(DC2)

Project Period (FY) 2021-04-28 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Keywords人工知能 / 深層学習 / 自然言語処理 / 解釈可能性 / 注意機構 / 敵対的摂動
Outline of Research at the Start

人工知能技術の核を成している深層学習は、従来の古典的な手法と比べてタスクに対する予測性能が非常に高い反面、具体的な予測の過程を解釈しづらい問題がある。深層学習モデルの予測を解釈する上で注意機構の重みを利用した方法が盛んに研究されているが、この機構は微小なノイズや摂動に脆弱であることが知られている。本研究では敵対的学習と呼ばれる、モデルをあえて騙すような摂動を付加する学習法に着目し、これを注意機構に応用することで摂動に頑健で解釈性の高い予測の根拠を提示可能な深層学習モデルの確立を目的とする。更に注意機構の重みを利用した予測の解釈法が提示する根拠に対する評価指標を確立し、モデルの解釈性を評価する。

Outline of Annual Research Achievements

本研究では、解釈性の高い予測の根拠を提示可能な深層学習モデルの予測精度向上を目的とし、以下2項目に焦点を当てて研究を行う: (1) 摂動に頑健で解釈可能な深層学習モデルの確立、(2) 予測の解釈手法が提示する根拠に対する評価指標の確立。2022年度は後者について研究を実施した。学習済みモデルの注意の重みに対して、これまで解釈性の評価に使われてこなかった既存の指標や、人手のアノテーションを利用した新たな指標を元に、予測根拠に対する評価指標の確立を模索した。このとき、解答根拠が人手によって付与された既存のオープンデータセットの利用のほか、クラウドソーシングの利用を検討した。深層学習モデルが提示する根拠に対して、勾配とアノテーション一致率や認知心理学的アプローチを参考に、その妥当性について検証した。さらに近年頻繁に利用されている既存手法や提案手法によって学習された注意の重みが、人間の解釈と近いものであるかを調査した。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (13 results)

All 2023 2022 2021

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 4 results) Presentation (7 results)

  • [Journal Article] Making attention mechanisms more robust and interpretable with virtual adversarial training2022

    • Author(s)
      Kitada Shunsuke、Iyatomi Hitoshi
    • Journal Title

      Applied Intelligence

      Volume: - Issue: 12 Pages: 15802-15817

    • DOI

      10.1007/s10489-022-04301-w

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] DM2S2: Deep Multimodal Sequence Sets With Hierarchical Modality Attention2022

    • Author(s)
      Kitada Shunsuke、Iwazaki Yuki、Togashi Riku、Iyatomi Hitoshi
    • Journal Title

      IEEE Access

      Volume: 10 Pages: 120023-120034

    • DOI

      10.1109/access.2022.3221812

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Feedback is Needed for Retakes: An Explainable Poor Image Notification Framework for the Visually Impaired2022

    • Author(s)
      Ohata Kazuya、Kitada Shunsuke、Iyatomi Hitoshi
    • Journal Title

      2022 IEEE 19th International Conference on Smart Communities: Improving Quality of Life Using ICT, IoT and AI (HONET)

      Volume: - Pages: 166-171

    • DOI

      10.1109/honet56683.2022.10019010

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Expressions Causing Differences in Emotion Recognition in Social Networking Service Documents2022

    • Author(s)
      Nakagawa Tsubasa、Kitada Shunsuke、Iyatomi Hitoshi
    • Journal Title

      Proceedings of the 31st ACM International Conference on Information & Knowledge Management

      Volume: - Pages: 4349-4353

    • DOI

      10.1145/3511808.3557599

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Ad Creative Discontinuation Prediction with Multi-Modal Multi-Task Neural Survival Networks2022

    • Author(s)
      Shunsuke Kitada, Hitoshi Iyatomi, Yoshifumi Seki
    • Journal Title

      Applied Sciences

      Volume: 12 Issue: 7 Pages: 3594-3594

    • DOI

      10.3390/app12073594

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Attention Meets Perturbations: Robust and Interpretable Attention With Adversarial Training2021

    • Author(s)
      Shunsuke Kitada, Hitoshi Iyatomi
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 92974-92985

    • DOI

      10.1109/access.2021.3093456

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Majority or Minority: 固有表現抽出におけるデータの不均衡性に着目した損失関数の提案2023

    • Author(s)
      根本 颯汰, 北田 俊輔, 彌冨 仁
    • Organizer
      言語処理学会第 29 回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Document AI タスクに向けた大規模事前学習済みモデルを活用した Layout-aware Prompting2022

    • Author(s)
      北田 俊輔, 井上 直人, 大谷 まゆ, 彌冨 仁
    • Organizer
      NLP 若手の会 (YANS) 第 17 回シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 固有表現認識タスクにおけるデータセットの偏りに着目した動的重み付け損失関数の提案2022

    • Author(s)
      根本 颯汰, 北田 俊輔, 彌冨 仁
    • Organizer
      NLP 若手の会 (YANS) 第 17 回シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] ViT-CLT: パッチ分割した文字画像から偏旁冠脚を考慮した文書分類2022

    • Author(s)
      津嶋祐介、青木匠、北田俊輔、彌冨仁
    • Organizer
      言語処理学会第28回年次大会 (NLP2022)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 書き手と読み手の怒りの感情認識の差の原因となる表現の獲得2022

    • Author(s)
      中川翼、北田俊輔、彌冨仁
    • Organizer
      言語処理学会第28回年次大会 (NLP2022)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 効果の高いランディングページ作成支援に向けた広告テキストからの効果予測および推薦モデルの構築2021

    • Author(s)
      北田俊輔、岩崎祐貴、富樫陸、山口光太、彌冨 仁
    • Organizer
      NLP若手の会 第16回シンポジウム (YANS2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 文章の書き手が持つ感情と読み手が受ける感情の差に関する初期調査および考察2021

    • Author(s)
      中川 翼、北田 俊輔、彌冨 仁
    • Organizer
      NLP若手の会 第16回シンポジウム (YANS2021)
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi