• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Linking Vision and Language through Computational Modelling

研究課題

研究課題/領域番号 19K12733
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分90030:認知科学関連
研究機関神戸市外国語大学

研究代表者

CHANG Franklin  神戸市外国語大学, 英米学科, 教授 (60827343)

研究期間 (年度) 2019-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード視覚情報 / ディープラーニングモデル / 動詞 / 過去形 / 進行形 / 終了状態 / 子ども / 大人 / action understanding / deep learning / Japanese verbs / Vision / Language / Learning / Event understanding / Computational model / Deep Learning / Priming / Verbs / Syntax / Eyetracking / language / thematic roles / object tracking / connectionist model
研究開始時の研究の概要

The first project will be the development of a computational model which can explain behavioral data from both adults and children within multiple object tracking tasks.
The next step will be to extend this model to address motion understanding.
The next project will link this computational model of action understanding to language.
To test this computational model, we will do a series of eye-tracking studies which test various assumptions of the model.

研究成果の概要

本研究では、視覚と言語表現の関係を探るため、過去形(「走った」)と進行形(「走っている」)を選択する際に使用される視覚的な手がかりに焦点を当てた。ビデオ映像に身体動作の「終了状態」があるものとないものを用意して実験を行った結果、日本人の成人と3-5歳の子供の両方が、「終了状態」を説明する際に過去形をより多く使用していることがわかった。さらに、映像内の身体の動きをもとに日本語の動詞を生成するディープラーニングモデルを開発した。このモデルはビデオ実験で被験者が生成した動詞を正しく予測できており、視覚と言語の密接な関連を示している。

研究成果の学術的意義や社会的意義

本研究では、大人と子どもが動画の視覚情報をどのように利用して動詞や動詞の形態を生成するかを調べた。日本人が視覚的な情報からどのように動詞を生成するかを示す、計算AIモデルを開発した。このモデルは、第一言語と第二言語の習得をサポートするための視覚資料作成に役立つ。また、人間が視覚的情報を言語化する方法を解明する一助となる本研究は、日本語を話すA Iシステムを作成する際に役立つ。

報告書

(6件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (5件)

すべて 2023 2022 2019

すべて 雑誌論文 (4件) (うち国際共著 4件、 査読あり 4件、 オープンアクセス 3件) 学会発表 (1件)

  • [雑誌論文] Visual Heuristics for Verb Production: Testing a Deep‐Learning Model With Experiments in Japanese2023

    • 著者名/発表者名
      Chang Franklin、Tatsumi Tomoko、Hiranuma Yuna、Bannard Colin
    • 雑誌名

      Cognitive Science

      巻: 47(8) 号: 8 ページ: 1-38

    • DOI

      10.1111/cogs.13324

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Thematic role tracking difficulties across multiple visual events influences role use in language production2022

    • 著者名/発表者名
      Jessop Andrew、Chang Franklin
    • 雑誌名

      Visual Cognition

      巻: 30 号: 3 ページ: 151-173

    • DOI

      10.1080/13506285.2021.2013374

    • 関連する報告書
      2022 実施状況報告書 2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Abstract structures and meaning in Japanese dative structural priming2022

    • 著者名/発表者名
      Chang Franklin、Tsumura Saki、Minemi Itsuki、Hirose Yuki
    • 雑誌名

      Applied Psycholinguistics

      巻: 43 号: 2 ページ: 411-433

    • DOI

      10.1017/s0142716421000576

    • 関連する報告書
      2022 実施状況報告書 2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Thematic role information is maintained in the visual object-tracking system2019

    • 著者名/発表者名
      Jessop Andrew、Chang Franklin
    • 雑誌名

      Quarterly Journal of Experimental Psychology

      巻: 73 号: 1 ページ: 146-163

    • DOI

      10.1177/1747021819882842

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] A deep learning verb production model using input from visual animations2022

    • 著者名/発表者名
      Chang, F., Tatsumi, T., Hiranuma, Y., & Bannard, C.
    • 学会等名
      Talk presented at the TL/Mental Architecture for Processing and Learning of Language conference.
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi