• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Research on AI's reading comprehension of multimedia data for improving language proficiency

Research Project

Project/Area Number 18K11557
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62020:Web informatics and service informatics-related
Research InstitutionKyoto Sangyo University

Principal Investigator

Miyamori Hisashi  京都産業大学, 情報理工学部, 教授 (90287988)

Project Period (FY) 2018-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2018: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywordsマルチモーダル / 読解力 / 統計データ / リランキング / 質問応答 / 画像特徴量 / 深層学習 / 人工知能 / ファクトチェック支援 / クエリ志向文書要約 / マルチモーダル対話 / 内部状態推定 / 再ランキング / 手話生成 / 日本手話 / 3D動作 / ビデオ質問応答 / 字幕 / 感情 / 統計データ検索 / 表理解 / ヘッダ抽出 / 対話システム / 連想エンコーダ / ゲート機構 / 人物らしさ / 自然言語処理 / キャプション生成 / 文エンコーダ / マルチメディアデータ
Outline of Final Research Achievements

This research aims to establish an essential technology to realize more human-like accurate reading comprehension, which cannot be achieved by conventional natural language processing alone, by building a model that utilizes multimedia data such as images and charts.
The main achievements include a question-answering method that jointly utilizes text and feature expressions of images derived from text, a method for ranking and relating statistical data described in tabular form from text that the user wants to examine, and a method for performing query-oriented summarization using sentence encoders to explain what has been grasped.

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的独自性は、文章を読みながら頭の中に視覚的要素を思い描いたり、文章を読む際に様々な知識や文脈と関係付けながらその内容理解を促進するといった、より人間らしい読解力を、画像や図表といったマルチメディアデータを活用したモデル構築により実現することに着眼している点である。本研究は、人とのより的確なインタラクションが求められるアプリケーションに広く応用することが可能であり、あらゆる場面で快適で豊かな生活を実現する超スマート社会の根幹を担う技術の一つとして貢献することが期待できる。

Report

(6 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • Research Products

    (29 results)

All 2023 2022 2021 2020 2019 2018 Other

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (21 results) (of which Int'l Joint Research: 5 results) Remarks (4 results)

  • [Journal Article] プログレッシブトランスフォーマーを用いた日本手話SLPモデルの性能評価2023

    • Author(s)
      奥井 優太, 宮森 恒
    • Journal Title

      日本データベース学会データドリブンスタディーズ

      Volume: 1 Pages: 1-8

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 被検索文書の絞り込みと補強,クエリ拡張に基づく統計データ向けアドホック検索2021

    • Author(s)
      岡本 卓, 宮森 恒
    • Journal Title

      情報処理学会論文誌データベース(TOD)

      Volume: 14

    • NAID

      170000185673

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 文エンコーダによるクエリ指向要約モデルの強化2019

    • Author(s)
      木村 輔、田上 諒、宮森 恒
    • Journal Title

      情報処学会論文誌データベース(TOD)

      Volume: 12 Pages: 66-79

    • NAID

      170000180560

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 幸福感を提供するVR画像閲覧システムGaZone2019

    • Author(s)
      杉本 翔、岡部 稜、喜田 将生、宮森 恒
    • Journal Title

      情報処理学会論文誌

      Volume: 60 Pages: 1970-1977

    • NAID

      170000180821

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Transformerモデルに関する順序数の的確な把握と活用能力の調査2023

    • Author(s)
      小川 志龍, 林 寛治, 宮森 恒
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] 外部知識参照型拡散モデルによるテキストからのビデオ生成2023

    • Author(s)
      王 墻, 宮森 恒
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] 語彙習得段階を考慮した英文法多肢選択問題の誤答選択肢自動生成2023

    • Author(s)
      戸崎 友輔, 宮森 恒
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] 画像・言語モデルに関する順序数の的確な把握と活用能力の調査2023

    • Author(s)
      増田 琉斗, 宮森 恒
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] スマートフォンを用いた軽量な道路損傷の自動検出2023

    • Author(s)
      今西 智也, 宮森 恒
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] 統計データ検索のためのFT-Transformerによるランキング学習2022

    • Author(s)
      岡本 卓, 宮森 恒
    • Organizer
      第14回データ工学と情報マネジメントに関するフォーラム DEIM2022
    • Related Report
      2021 Research-status Report
  • [Presentation] プログレッシブトランスフォーマーを用いた日本手話SLPモデルの性能評価2022

    • Author(s)
      奥井優太, 宮森恒
    • Organizer
      第14回データ工学と情報マネジメントに関するフォーラム DEIM2022
    • Related Report
      2021 Research-status Report
  • [Presentation] Ad Hoc Search On Statistical Data Based On Categorization And Metadata Augmentation2021

    • Author(s)
      Okamoto Taku、Miyamori Hisashi
    • Organizer
      IEEE 4th International Conference on Multimedia Information Processing and Retrieval (IEEE MIPR 2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] カテゴリ分類とメタデータ補強に基づく統計データに対するアドホック検索2021

    • Author(s)
      岡本 卓、宮森 恒
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム DEIM2021
    • Related Report
      2020 Research-status Report
  • [Presentation] KSU Systems at the NTCIR-15 Data Search Task2020

    • Author(s)
      岡本 卓、宮森 恒
    • Organizer
      The 15th NTCIR Conference
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] KSU Systems at the NTCIR-14 QA Lab--PoliInfo Task2019

    • Author(s)
      木村 輔、田上 諒、勝山光、杉本 翔、宮森 恒
    • Organizer
      The 14th NTCIR Conference
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] GaZone: VR Image Browsing System Providing Feelings of Happiness2019

    • Author(s)
      杉本 翔、宮森 恒
    • Organizer
      Entertainment Computing and Serious Games. ICEC-JCSG 2019. LNCS11863
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Query-focused Summarization Enhanced with Sentence Attention Mechanism2019

    • Author(s)
      木村 輔、田上 諒、宮森 恒
    • Organizer
      6th IEEE International Conference on Big Data and Smart Computing (BigComp 2019)
    • Related Report
      2018 Research-status Report
    • Int'l Joint Research
  • [Presentation] 文エンコーダによるクエリ指向要約モデルの強化2019

    • Author(s)
      木村 輔、田上 諒、宮森 恒
    • Organizer
      第11回データ工学と情報マネジメントに関するフォーラム DEIM2019
    • Related Report
      2018 Research-status Report
  • [Presentation] 前提知識を考慮した根拠の妥当性判断による自動回答手法2019

    • Author(s)
      田上 諒、木村 輔、宮森 恒
    • Organizer
      第11回データ工学と情報マネジメントに関するフォーラム DEIM2019
    • Related Report
      2018 Research-status Report
  • [Presentation] 話者用例に基づく人物らしさを反映した対話応答文生成2019

    • Author(s)
      杉本 翔、宮森 恒
    • Organizer
      第11回データ工学と情報マネジメントに関するフォーラム DEIM2019
    • Related Report
      2018 Research-status Report
  • [Presentation] 質問文から連想した画像特徴量を用いた質問応答モデル2019

    • Author(s)
      石橋陽一、森泰、木村輔、宮森恒
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2018 Research-status Report
  • [Presentation] テキストと関連画像の視覚的要素を活用した質問応答2019

    • Author(s)
      森泰、石橋陽一、宮森恒
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2018 Research-status Report
  • [Presentation] 地方議会における事実確認のための会議録分割2019

    • Author(s)
      田上諒、木村輔、杉本翔、勝山光、宮森恒
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2018 Research-status Report
  • [Presentation] 地方議会特有の表現に基づく政策に対する発言の賛否分類2019

    • Author(s)
      勝山光、杉本翔、田上諒、木村輔、宮森恒
    • Organizer
      言語処理学会第25回年次大会(NLP2019)
    • Related Report
      2018 Research-status Report
  • [Presentation] 幸福感を提供するVR画像検索システムGaZone2018

    • Author(s)
      杉本 翔、岡部 稜、喜田 将生、宮森 恒
    • Organizer
      エンタテインメントコンピューティングシンポジウム2018論文集
    • Related Report
      2018 Research-status Report
  • [Remarks] 京都産業大学 情報理工学部 宮森研究室(メディア知能研究室)

    • URL

      http://milab.kyoto-su.ac.jp/

    • Related Report
      2022 Annual Research Report
  • [Remarks] 文エンコーダによるクエリ指向要約モデルの強化

    • URL

      http://id.nii.ac.jp/1001/00199671/

    • Related Report
      2019 Research-status Report
  • [Remarks] 幸福感を提供するVR画像閲覧システムGaZone

    • URL

      http://id.nii.ac.jp/1001/00200578/

    • Related Report
      2019 Research-status Report
  • [Remarks] 教員紹介

    • URL

      https://www.kyoto-su.ac.jp/faculty/professors/cse/miyamori-hisashi.html

    • Related Report
      2018 Research-status Report

URL: 

Published: 2018-04-23   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi