• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

物理環境をとらえたヒトの予測機能に基づく実世界の言語説明

研究課題

研究課題/領域番号 22KJ1355
補助金の研究課題番号 22J21786 (2022)
研究種目

特別研究員奨励費

配分区分基金 (2023)
補助金 (2022)
応募区分国内
審査区分 小区分61030:知能情報学関連
研究機関お茶の水女子大学

研究代表者

黒田 彗莉  お茶の水女子大学, 人間文化創成科学研究科, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
2,500千円 (直接経費: 2,500千円)
2024年度: 800千円 (直接経費: 800千円)
2023年度: 800千円 (直接経費: 800千円)
2022年度: 900千円 (直接経費: 900千円)
キーワード実世界理解 / 予測 / 言語生成 / 物理特性 / グラフ埋め込み / 変化点抽出 / 物理的関係の階層構造
研究開始時の研究の概要

ヒトの予測機能は視覚から取り入れた情報から物体の種類や物理特性といった詳細な情報を捉えた後に予測を行うが、従来の予測を対象にした研究の多くは動画像のピクセルの遷移から予測画像を生成している。よりヒトらしい予測機能をもつ機械学習モデルの構築のために、実世界に存在する物体や事象についての物理的因果特性を捉えた予測モデルを構築する。またヒトは実世界で起きている事象を視覚から取り入れ、その状況を言語に置き換えて理解をする。ヒトの言語を用いた実世界理解についての理解を深めるために、構築した予測モデルを用いて予測した内容を実画像だけでなく言語でも説明可能な手法の開発を目指す。

研究実績の概要

ヒトは、環境を見て物体の動きを捉え、予測し、その内容を他人に伝えることができる。しかし、物体の動きや環境の予測を扱った先行研究は、画像(計算機における「視覚情報」)のピクセルの変化を予測とみなしてきた。また、画像の状況を説明できる大規模言語モデルの GPT-4Vも、あくまで画像特徴量(色の数値データ)と単語の類似度から文章を生成するにとどまっている。つまり、ヒトのように物体の動きの意味を理解したうえで予測や言語を生成しているわけではない。そこで本研究では、環境内の物体の種類や動きを理解し、動きが大きく変わるタイミングを予測・説明できる仕組みを開発した。
実験1として、物体の衝突がいつ起こるかを、視覚的な状態(画像)と物理的な状態(速度など)の変化から判断する変化点予測モデルを構築した。その結果、物体の衝突のタイミングを高い精度で判断することに成功した。
次に実験2として、変化点の状況を理解するために、物体の動きを表したグラフ構造から言語を生成した。具体的には、グラフ構造とそのときの状況を表した文章のペアデータを作成し、事前学習によって言語モデルを構築した。その言語モデルを用い、変化点を予測したグラフ構造から文章を生成した。生成された文章は、高い精度で環境を説明できた。
また、3年目で実施予定の、物体の動きの常識を含んだ文章を生成するための仕組みの開発も行った。簡易実験では、モデルから生成した文章に対して、物体の重さや床の摩擦などの環境における常識で補完した文章を再生成できることを確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初の計画通り、物体の動きの特徴的なタイミング(衝突)を予測する深層学習モデルの開発を行った。予測内容を解釈可能にするために、言語モデルを使用して衝突の状況を説明する文章を生成した。これらの実装は2年目前半に終了し、後半は変化点予測モデルの精度向上のためのモデルや仕組みの変更に取り組んだ。同時に、10月から半年間、ドイツで研究留学を行い、特別研究員の研究と並行して最先端の自然言語処理技術を学んだ。滞在期間中は現地の研究に加えて、3年目に予定されている予測内容に関する文章生成にも取り組んだ。
今年度の成果については、国際学会に2報(PRML2023、DS2023)、国内学会に1報を発表し、現在、論文誌への投稿を進めている。

今後の研究の推進方策

3年目前半では、開発した変化点抽出モデルを用いて、より実世界に近いデータセットをでの実験を行う。さらに3年目の計画であるヒトのような物理的な常識をもった文章を再生成する仕組みの実験と検証を行う。
後半では、従来の直観に即した予測だけでなく、直観に反した(反実仮想、仮説推論)動きも予測できるモデルの開発を目指す。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実績報告書
  • 研究成果

    (10件)

すべて 2024 2023 2022

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (8件) (うち国際学会 3件)

  • [雑誌論文] Extraction of Motion Change Points Based on the Physical Characteristics of Objects2023

    • 著者名/発表者名
      Kuroda Eri, Kobayashi Ichiro
    • 雑誌名

      2023 IEEE 4th International Conference on Pattern Recognition and Machine Learning (PRML)

      巻: - ページ: 263-268

    • DOI

      10.1109/prml59573.2023.10348369

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Predictive Inference Model of the Physical Environment that Emulates Predictive Coding2023

    • 著者名/発表者名
      Kuroda Eri, Kobayashi Ichiro
    • 雑誌名

      Discovery Science

      巻: - ページ: 431-445

    • DOI

      10.1007/978-3-031-45275-8_29

    • ISBN
      9783031452741, 9783031452758
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [学会発表] 実世界環境の物理特性に着目した言語記述2024

    • 著者名/発表者名
      黒田彗莉
    • 学会等名
      人工知能学会全国大会(第38回)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Extraction of Motion Change Points based on the Physical Characteristics of Objects2023

    • 著者名/発表者名
      Eri Kuroda
    • 学会等名
      2023 IEEE the 4th International Conference on Pattern Recognition and Machine Learning (PRML2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Predictive Inference Model of the Physical Environment that emulates Predictive Coding2023

    • 著者名/発表者名
      Eri Kuroda
    • 学会等名
      26th International Conference on Discovery Science (DS2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 予測符号化を模した物理環境の予測推論モデル2023

    • 著者名/発表者名
      黒田彗莉
    • 学会等名
      人工知能学会全国大会(第37回)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 物理環境におけるヒト脳内での予測符号化を模倣した変化点予測モデル構築への取り組み2023

    • 著者名/発表者名
      黒田彗莉
    • 学会等名
      第85回情報処理学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 予測符号化を模した物理環境の予測推論モデル2023

    • 著者名/発表者名
      黒田彗莉
    • 学会等名
      人工知能学会全国大会 (第37回)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Extraction of Motion Change Points based on the Physical Characteristics of Objects2023

    • 著者名/発表者名
      Eri Kuroda
    • 学会等名
      2023 IEEE The 4th International Conference on Pattern Recognition and Machine Learning (PRML2023)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 画像内の物体に着目した動きの変化点抽出への取り組み2022

    • 著者名/発表者名
      黒田彗莉
    • 学会等名
      人工知能学会全国大会(第36回)
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi