• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

摂動に頑健で解釈可能な深層学習モデルの開発とその解釈性の評価

研究課題

研究課題/領域番号 21J14143
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
審査区分 小区分61030:知能情報学関連
研究機関法政大学

研究代表者

北田 俊輔  法政大学, 理工学研究科, 特別研究員(DC2)

研究期間 (年度) 2021-04-28 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
1,500千円 (直接経費: 1,500千円)
2022年度: 700千円 (直接経費: 700千円)
2021年度: 800千円 (直接経費: 800千円)
キーワード人工知能 / 深層学習 / 自然言語処理 / 解釈可能性 / 注意機構 / 敵対的摂動
研究開始時の研究の概要

人工知能技術の核を成している深層学習は、従来の古典的な手法と比べてタスクに対する予測性能が非常に高い反面、具体的な予測の過程を解釈しづらい問題がある。深層学習モデルの予測を解釈する上で注意機構の重みを利用した方法が盛んに研究されているが、この機構は微小なノイズや摂動に脆弱であることが知られている。本研究では敵対的学習と呼ばれる、モデルをあえて騙すような摂動を付加する学習法に着目し、これを注意機構に応用することで摂動に頑健で解釈性の高い予測の根拠を提示可能な深層学習モデルの確立を目的とする。更に注意機構の重みを利用した予測の解釈法が提示する根拠に対する評価指標を確立し、モデルの解釈性を評価する。

研究実績の概要

本研究では、解釈性の高い予測の根拠を提示可能な深層学習モデルの予測精度向上を目的とし、以下2項目に焦点を当てて研究を行う: (1) 摂動に頑健で解釈可能な深層学習モデルの確立、(2) 予測の解釈手法が提示する根拠に対する評価指標の確立。2022年度は後者について研究を実施した。学習済みモデルの注意の重みに対して、これまで解釈性の評価に使われてこなかった既存の指標や、人手のアノテーションを利用した新たな指標を元に、予測根拠に対する評価指標の確立を模索した。このとき、解答根拠が人手によって付与された既存のオープンデータセットの利用のほか、クラウドソーシングの利用を検討した。深層学習モデルが提示する根拠に対して、勾配とアノテーション一致率や認知心理学的アプローチを参考に、その妥当性について検証した。さらに近年頻繁に利用されている既存手法や提案手法によって学習された注意の重みが、人間の解釈と近いものであるかを調査した。

現在までの達成度 (段落)

令和4年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和4年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (13件)

すべて 2023 2022 2021

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 4件) 学会発表 (7件)

  • [雑誌論文] Making attention mechanisms more robust and interpretable with virtual adversarial training2022

    • 著者名/発表者名
      Kitada Shunsuke、Iyatomi Hitoshi
    • 雑誌名

      Applied Intelligence

      巻: - 号: 12 ページ: 15802-15817

    • DOI

      10.1007/s10489-022-04301-w

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] DM2S2: Deep Multimodal Sequence Sets With Hierarchical Modality Attention2022

    • 著者名/発表者名
      Kitada Shunsuke、Iwazaki Yuki、Togashi Riku、Iyatomi Hitoshi
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 120023-120034

    • DOI

      10.1109/access.2022.3221812

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Feedback is Needed for Retakes: An Explainable Poor Image Notification Framework for the Visually Impaired2022

    • 著者名/発表者名
      Ohata Kazuya、Kitada Shunsuke、Iyatomi Hitoshi
    • 雑誌名

      2022 IEEE 19th International Conference on Smart Communities: Improving Quality of Life Using ICT, IoT and AI (HONET)

      巻: - ページ: 166-171

    • DOI

      10.1109/honet56683.2022.10019010

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Expressions Causing Differences in Emotion Recognition in Social Networking Service Documents2022

    • 著者名/発表者名
      Nakagawa Tsubasa、Kitada Shunsuke、Iyatomi Hitoshi
    • 雑誌名

      Proceedings of the 31st ACM International Conference on Information & Knowledge Management

      巻: - ページ: 4349-4353

    • DOI

      10.1145/3511808.3557599

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Ad Creative Discontinuation Prediction with Multi-Modal Multi-Task Neural Survival Networks2022

    • 著者名/発表者名
      Shunsuke Kitada, Hitoshi Iyatomi, Yoshifumi Seki
    • 雑誌名

      Applied Sciences

      巻: 12 号: 7 ページ: 3594-3594

    • DOI

      10.3390/app12073594

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Attention Meets Perturbations: Robust and Interpretable Attention With Adversarial Training2021

    • 著者名/発表者名
      Shunsuke Kitada, Hitoshi Iyatomi
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 92974-92985

    • DOI

      10.1109/access.2021.3093456

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Majority or Minority: 固有表現抽出におけるデータの不均衡性に着目した損失関数の提案2023

    • 著者名/発表者名
      根本 颯汰, 北田 俊輔, 彌冨 仁
    • 学会等名
      言語処理学会第 29 回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Document AI タスクに向けた大規模事前学習済みモデルを活用した Layout-aware Prompting2022

    • 著者名/発表者名
      北田 俊輔, 井上 直人, 大谷 まゆ, 彌冨 仁
    • 学会等名
      NLP 若手の会 (YANS) 第 17 回シンポジウム
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 固有表現認識タスクにおけるデータセットの偏りに着目した動的重み付け損失関数の提案2022

    • 著者名/発表者名
      根本 颯汰, 北田 俊輔, 彌冨 仁
    • 学会等名
      NLP 若手の会 (YANS) 第 17 回シンポジウム
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ViT-CLT: パッチ分割した文字画像から偏旁冠脚を考慮した文書分類2022

    • 著者名/発表者名
      津嶋祐介、青木匠、北田俊輔、彌冨仁
    • 学会等名
      言語処理学会第28回年次大会 (NLP2022)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 書き手と読み手の怒りの感情認識の差の原因となる表現の獲得2022

    • 著者名/発表者名
      中川翼、北田俊輔、彌冨仁
    • 学会等名
      言語処理学会第28回年次大会 (NLP2022)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 効果の高いランディングページ作成支援に向けた広告テキストからの効果予測および推薦モデルの構築2021

    • 著者名/発表者名
      北田俊輔、岩崎祐貴、富樫陸、山口光太、彌冨 仁
    • 学会等名
      NLP若手の会 第16回シンポジウム (YANS2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 文章の書き手が持つ感情と読み手が受ける感情の差に関する初期調査および考察2021

    • 著者名/発表者名
      中川 翼、北田 俊輔、彌冨 仁
    • 学会等名
      NLP若手の会 第16回シンポジウム (YANS2021)
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-05-27   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi