• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダル言語理解における敵対的データ拡張基盤の構築

研究課題

研究課題/領域番号 20H04269
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61050:知能ロボティクス関連
研究機関慶應義塾大学

研究代表者

杉浦 孔明  慶應義塾大学, 理工学部(矢上), 教授 (60470473)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2022年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2021年度: 7,930千円 (直接経費: 6,100千円、間接経費: 1,830千円)
2020年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
キーワードマルチモーダル言語処理 / クロスモーダル言語生成 / データ拡張 / 生活支援ロボット / Sim2Real / クロスモーダル言語処理 / 機械知能 / 知能ロボティクス / 敵対的データ拡張
研究開始時の研究の概要

本研究では、要支援者とその家族を時間的拘束から解放するために、日常タスクを支援する生活支援ロボットを実現する。生活支援ロボットのハードウェアは最近標準化されたものの、曖昧な指示を理解する精度は不十分である。そこで本研究では、多様なデータを敵対的に生成・分類・変換するデータ拡張手法(敵対的データ拡張)の基礎研究を確立するとともに、マルチモーダル言語理解・生成へ適用して生活支援ロボット上に実装するなどの工学的応用を推進する。

研究成果の概要

本研究では,マルチモーダル言語理解,マルチモーダル言語生成,Sim2Real転移学習と介助犬タスクでの評価を行った.理解班では,Vision-and-Language Navigationタスクにおいて,敵対的摂動更新アルゴリズム Momentum-based Adversarial Trainingを構築した.生成班では,動画から将来の状況を説明する文を生成するfuture captioning手法を構築し,既存手法を上回る結果を得た.Sim2Real班では,生活支援ロボット評価フレームワークを構築し,指示文生成とタスク実行を自動化した.

研究成果の学術的意義や社会的意義

本研究では,要支援者とその家族を時間的拘束から解放するために,日常タスクを支援する生活支援ロボットの言語理解技術構築を目的とする.生活支援ロボットのハードウェアは最近標準化されたものの,曖昧な指示を理解する精度は不十分である.本研究では,マルチモーダル言語理解に関する標準データセット上で世界最高精度を達成するとともに,タスク生成・実行・評価のすべてにおいて人手を要しない生活支援ロボット評価フレームワークを世界で初めて構築した.

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (37件)

すべて 2023 2022 2021 2020 その他

すべて 雑誌論文 (7件) (うち査読あり 4件) 学会発表 (26件) (うち国際学会 7件、 招待講演 2件) 備考 (4件)

  • [雑誌論文] Affective Image Captioning for Visual Artworks using Emotion-based Cross-Attention Mechanisms2023

    • 著者名/発表者名
      S. Ishikawa and K. Sugiura
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 24527-24534

    • DOI

      10.1109/access.2023.3255887

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions2021

    • 著者名/発表者名
      Kambara Motonari、Sugiura Komei
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 6 号: 4 ページ: 8371-8378

    • DOI

      10.1109/lra.2021.3107026

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Target-Dependent UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots2021

    • 著者名/発表者名
      Ishikawa Shintaro、Sugiura Komei
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 6 号: 4 ページ: 8401-8408

    • DOI

      10.1109/lra.2021.3108500

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] CrossMap Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation2021

    • 著者名/発表者名
      Magassouba Aly、Sugiura Komei、Kawai Hisashi
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 6 号: 4 ページ: 6258-6265

    • DOI

      10.1109/lra.2021.3092686

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Predicting and attending to damaging collisions for placing everyday objects in photo-realistic simulations2021

    • 著者名/発表者名
      Magassouba Aly、Sugiura Komei、Nakayama Angelica、Hirakawa Tsubasa、Yamashita Takayoshi、Fujiyoshi Hironobu、Kawai Hisashi
    • 雑誌名

      Advanced Robotics

      巻: - 号: 12 ページ: 1-13

    • DOI

      10.1080/01691864.2021.1913446

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Alleviating the Burden of Labeling: Sentence Generation by Attention Branch Encoder?Decoder Network2020

    • 著者名/発表者名
      Ogura Tadashi、Magassouba Aly、Sugiura Komei、Hirakawa Tsubasa、Yamashita Takayoshi、Fujiyoshi Hironobu、Kawai Hisashi
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 5 号: 4 ページ: 5945-5952

    • DOI

      10.1109/lra.2020.3010735

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] A Multimodal Target-Source Classifier With Attention Branches to Understand Ambiguous Instructions for Fetching Daily Objects2020

    • 著者名/発表者名
      Magassouba Aly、Sugiura Komei、Kawai Hisashi
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 5 号: 2 ページ: 532-539

    • DOI

      10.1109/lra.2019.2963649

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [学会発表] Shared Transformer Encoder with Mask-based 3D Model Estimation for Container Mass Estimation2022

    • 著者名/発表者名
      T. Matsubara, S.Otsuki, Y. Wada, H. Matsuo, T. Komatsu, Y. Iioka, K. Sugiura, H. Saito
    • 学会等名
      IEEE ICASSP
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 生活支援ロボットによる物体操作タスクにおけるFunnel UNITERに基づく指示文理解2022

    • 著者名/発表者名
      吉田悠, 石川慎太朗, 杉浦孔明
    • 学会等名
      2022年度 人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 日常タスクにおける将来イベントのクロスモーダル説明文生成2022

    • 著者名/発表者名
      神原元就, 杉浦孔明
    • 学会等名
      2022年度 人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Vision-and-Language Navigationタスクにおける敵対的サブゴール生成2022

    • 著者名/発表者名
      石川慎太朗, 杉浦孔明
    • 学会等名
      2022年度 人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Moment-based Adversarial Training for Embodied Language Comprehension2022

    • 著者名/発表者名
      S. Ishikawa, K. Sugiura
    • 学会等名
      IEEE ICPR
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 物体配置タスクにおける危険性のクロスモーダル説明生成2022

    • 著者名/発表者名
      飯岡雄偉, 神原元就, 杉浦孔明
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 物体操作タスクにおけるSwitching Funnel UNITERによる対象物体および配置目標に関する指示文理解2022

    • 著者名/発表者名
      是方諒介, 吉田悠, 石川慎太朗, 杉浦孔明
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] TDP-MATに基づく実画像を対象とした物体操作指示理解2022

    • 著者名/発表者名
      小槻誠太郎, 石川慎太朗, 杉浦孔明
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 記号接地されたfetch-and-carryタスクの自動化と実行2022

    • 著者名/発表者名
      神原元就, 杉浦孔明
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 物体配置タスクにおける構造的知識を用いた衝突予測および視覚的説明生成2022

    • 著者名/発表者名
      松尾榛夏, 畑中駿平, 平川翼, 山下隆義, 藤吉弘亘, 杉浦孔明
    • 学会等名
      第40回日本ロボット学会学術講演会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Relational Future Captioning Model for Explaining Likely Collisions in Daily Tasks2022

    • 著者名/発表者名
      M. Kambara, K.Sugiura
    • 学会等名
      IEEE ICIP
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Switching Funnel UNITER: Multimodal Instruction Comprehension for Object Manipulation Tasks2022

    • 著者名/発表者名
      R. Korekata, Y. Yoshida, S. Ishikawa, K. Sugiura
    • 学会等名
      IEEE/RSJ IROS
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Collision Prediction and Visual Explanation Generation Using Structural Knowledge in Object Placement Tasks2022

    • 著者名/発表者名
      H. Matsuo, S. Hatanaka, A. Ueda, T. Hirakawa, T. Yamashita, H. Fujiyoshi, K. Sugiura
    • 学会等名
      IEEE/RSJ IROS
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] JaSPICE: 日本語における述語項構造に基づく画像キャプション生成モデルの自動評価尺度2022

    • 著者名/発表者名
      和田唯我, 兼田寛大, 杉浦孔明
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] マルチモーダルOCR特徴を用いたDynamic Pointer Networkによるテキスト付き画像説明文生成2022

    • 著者名/発表者名
      植田有咲, Wei Yang, 杉浦孔明
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ゲート付き相互注意を用いたエンコーダ・デコーダによる感情に基づく絵画説明文生成2022

    • 著者名/発表者名
      石川慎太朗, 杉浦孔明
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Multimodal Encoder with Gated Cross-attention for Text-VQA Tasks2022

    • 著者名/発表者名
      W. Yang, A. Ueda, and K. Sugiura
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Visual and Linguistic Explanations in Semantic Machine Intelligence2022

    • 著者名/発表者名
      K. Sugiura
    • 学会等名
      Shonan Meeting No. 166
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Towards Superhuman and Explainable AI for Human-AI Co-Evolution2022

    • 著者名/発表者名
      K. Sugiura
    • 学会等名
      AIST Artificial Intelligence Research Center International Symposium
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 生活支援ロボットによる物体配置タスクにおけるTransformer PonNetに基づく危険性予測および可視化2021

    • 著者名/発表者名
      植田有咲, Aly Magassouba, 平川翼, 山下隆義, 藤吉弘亘, 杉浦孔明
    • 学会等名
      2021年度 人工知能学会全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Case Relation Transformerに基づく対象物体及び目標領域の参照表現を含む物体操作指示文生成2021

    • 著者名/発表者名
      神原元就, 杉浦孔明
    • 学会等名
      2021年度 人工知能学会全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Target-dependent UNITERに基づく対象物体に関する参照表現を含む物体操作指示理解2021

    • 著者名/発表者名
      石川慎太朗, 杉浦孔明
    • 学会等名
      2021年度 人工知能学会全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Bilingual Case Relation Transformerに基づく複数言語による物体操作指示文生成2021

    • 著者名/発表者名
      兼田寛大, 神原元就, 杉浦孔明
    • 学会等名
      第39回日本ロボット学会学術講演会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 生活支援ロボットによる物体配置タスクにおける危険性予測および視覚的説明生成2021

    • 著者名/発表者名
      畑中駿平, 上田雄斗, 植田有咲, 平川翼, 山下隆義, 藤吉弘亘, 杉浦孔明
    • 学会等名
      第39回日本ロボット学会学術講演会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 物体指示理解タスクにおけるクロスモーダル言語生成に基づくデータ拡張2021

    • 著者名/発表者名
      飯田紡, 九曜克之, 石川慎太朗, 杉浦孔明
    • 学会等名
      第39回日本ロボット学会学術講演会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Multimodal Attention Branch Networkに基づく把持命令文の生成2020

    • 著者名/発表者名
      小椋忠志, Magassouba Aly, 杉浦孔明, 平川翼, 山下隆義, 藤吉弘亘, 河井恒
    • 学会等名
      2020年度 人工知能学会全国大会
    • 関連する報告書
      2020 実績報告書
  • [備考] 杉浦孔明研究室:研究内容

    • URL

      https://smilab.org/research/

    • 関連する報告書
      2022 実績報告書
  • [備考] 杉浦孔明研究室ウェブサイト

    • URL

      https://smilab.org/

    • 関連する報告書
      2021 実績報告書
  • [備考] Semantic Machine Intelligence Laboratory

    • URL

      https://smilab.org

    • 関連する報告書
      2020 実績報告書
  • [備考] Komei Sugiura

    • URL

      https://komeisugiura.jp

    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi