• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

実世界における知識獲得のための対話システムの構築

公募研究

研究領域人間機械共生社会を目指した対話知能システム学
研究課題/領域番号 20H05556
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関東京大学

研究代表者

原田 達也  東京大学, 先端科学技術研究センター, 教授 (60345113)

研究期間 (年度) 2020-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
18,720千円 (直接経費: 14,400千円、間接経費: 4,320千円)
2021年度: 9,360千円 (直接経費: 7,200千円、間接経費: 2,160千円)
2020年度: 9,360千円 (直接経費: 7,200千円、間接経費: 2,160千円)
キーワード画像認識 / 自然言語処理 / 対話 / 知識獲得
研究開始時の研究の概要

本研究の目的は,人間とエージェントが対話を通じて実環境中に存在する未知物体の情報を獲得・学習し,対話継続可能とするシステムの構築である.近年の深層学習をはじめとした機械学習の進展は, 人間とエージェントが自然な対話を行うことを可能にしつつある.しかし,実環境において知識共有や獲得を目的とした対話の実現には,エージェント自身が知らない事実が何であるかを知ること,適切な質問の生成,人の回答を理解し,再学習に利用することが必要となるが,いずれも困難な問題であるため未だ実現に至っていない.本研究課題では,これらの本質的な問題解決に取り組んでいく.

研究実績の概要

本研究の目的は,人間とエージェントが対話を通じて実環境中に存在する未知物体の情報を獲得・学習し,対話継続可能とするシステムの構築である.近年の深層学習をはじめとした機械学習の進展は, 人間とエージェントが自然な対話を行うことを可能にしつつある.しかし,実環境において知識共有や獲得を目的とした対話の実現には,エージェント自身が実世界において知らない事象が何であるかを知ること,知らない事象に対する知識獲得のための適切な質問の生成すること,人間からの回答を理解し,再学習に利用することで知識として定着させることが必要となるが,いずれも困難な問題であるため未だ実現に至っていない.そこで本研究課題では,これらの本質的な問題解決に取り組んでいく.本年度は,視覚的質問応答(VQA)のためのサブ質問の生成課題に特に取り組んだ.従来のVQAモデルは,実世界の知識に関する推論を必要とする問題において,間違った推論を行う傾向がある.このような問題を解決するために本研究では,正しい推論に有用な補助的な知覚情報を積極的に獲得するための質問を生成する新しいVQAモデルを提案した.具体的には,本モデルは,1)質問に回答するためのVQAモデル,2)質問を生成するための視覚的質問生成(VQG)モデル,3)生成された質問が元の質問に答えるために有用な情報をどれだけ含んでいるかを推定する情報スコアモデルから構成される.VQGモデルは,情報スコアモデルから得られる情報量を最大化するように学習させることで,元の質問の回答に関する情報をできるだけ多く含むサブ質問を生成する.生成されたサブ質問とその回答を付加情報としてVQAモデルに入力することで,サブ質問を利用しないベースラインモデルよりも正確に元の質問に対する回答を予測できることが実験により示された.

現在までの達成度 (段落)

令和3年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和3年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (6件)

すべて 2022 2021 2020

すべて 雑誌論文 (6件) (うち国際共著 1件、 査読あり 6件、 オープンアクセス 6件)

  • [雑誌論文] ViNTER: Image Narrative Generation with Emotion-Arc-Aware Transformer2022

    • 著者名/発表者名
      Kohei Uehara, Yusuke Mori, Yusuke Mukuta, Tatsuya Harada
    • 雑誌名

      The 1st International Workshop on Multimodal Understanding for the Web and Social Media (MUWS), co-located with The WebConf (WWW) 2022

      巻: -

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Learning to Ask Informative Sub-Questions for Visual Question Answering2022

    • 著者名/発表者名
      Kohei Uehara, Nan Duan, Tatsuya Harada
    • 雑誌名

      5th MUltimodal Learning and Applications Workshop (MULA 2022) in conjunction with CVPR 2022

      巻: -

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Plug-and-Play Controller for Story Completion: A Pilot Study toward Emotion-aware Story Writing Assistance2022

    • 著者名/発表者名
      Yusuke Mori, Hiroaki Yamane, Ryohei Shimizu, Tatsuya Harada
    • 雑誌名

      The First Workshop on Intelligent and Interactive Writing Assistants (In2Writing)

      巻: -

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] The Nectar of Missing Position Prediction for Story Completion2021

    • 著者名/発表者名
      Yusuke Mori, Hiroaki Yamane, Yusuke Mukuta, Tatsuya Harada
    • 雑誌名

      Workshop on Text2Story co-located with the 43rd European Conference on Information Retrieval (ECIR 2021)

      巻: 2860 ページ: 65-69

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Interactive Video Retrieval with Dialog2020

    • 著者名/発表者名
      Sho Maeoki, Kohei Uehara, Tatsuya Harada
    • 雑誌名

      Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops

      巻: 1 ページ: 4091-4099

    • DOI

      10.1109/cvprw50498.2020.00484

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Unsupervised Keyword Extraction for Full-sentence VQA2020

    • 著者名/発表者名
      Kohei Uehara and Tatsuya Harada
    • 雑誌名

      Proceedings of the First International Workshop on Natural Language Processing Beyond Text

      巻: - ページ: 51-59

    • DOI

      10.18653/v1/2020.nlpbt-1.6

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス

URL: 

公開日: 2020-04-28   更新日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi