• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

言語運用能力向上のためのAIのマルチメディアデータ読解力に関する研究

研究課題

研究課題/領域番号 18K11557
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分62020:ウェブ情報学およびサービス情報学関連
研究機関京都産業大学

研究代表者

宮森 恒  京都産業大学, 情報理工学部, 教授 (90287988)

研究期間 (年度) 2018-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2018年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワードマルチモーダル / 読解力 / 統計データ / リランキング / 質問応答 / 画像特徴量 / 深層学習 / 人工知能 / ファクトチェック支援 / クエリ志向文書要約 / マルチモーダル対話 / 内部状態推定 / 再ランキング / 手話生成 / 日本手話 / 3D動作 / ビデオ質問応答 / 字幕 / 感情 / 統計データ検索 / 表理解 / ヘッダ抽出 / 対話システム / 連想エンコーダ / ゲート機構 / 人物らしさ / 自然言語処理 / キャプション生成 / 文エンコーダ / マルチメディアデータ
研究成果の概要

本研究の目的は、画像や図表等のマルチメディアデータを活用したモデルを構築することにより、従来の自然言語処理だけでは得られない、より人間に近い的確な読解力を実現する基盤技術を確立することである。
主な成果として、テキストと、テキストから得られる画像の特徴表現を融合的に利用した質問応答手法、ユーザが調べたいテキストから、表形式で記載された統計データを対象としてランキングし関連づける手法、文エンコーダによるクエリ指向要約を行い、把握した内容を説明する手法が挙げられる。

研究成果の学術的意義や社会的意義

本研究の学術的独自性は、文章を読みながら頭の中に視覚的要素を思い描いたり、文章を読む際に様々な知識や文脈と関係付けながらその内容理解を促進するといった、より人間らしい読解力を、画像や図表といったマルチメディアデータを活用したモデル構築により実現することに着眼している点である。本研究は、人とのより的確なインタラクションが求められるアプリケーションに広く応用することが可能であり、あらゆる場面で快適で豊かな生活を実現する超スマート社会の根幹を担う技術の一つとして貢献することが期待できる。

報告書

(6件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (29件)

すべて 2023 2022 2021 2020 2019 2018 その他

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 4件) 学会発表 (21件) (うち国際学会 5件) 備考 (4件)

  • [雑誌論文] プログレッシブトランスフォーマーを用いた日本手話SLPモデルの性能評価2023

    • 著者名/発表者名
      奥井 優太, 宮森 恒
    • 雑誌名

      日本データベース学会データドリブンスタディーズ

      巻: 1 ページ: 1-8

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 被検索文書の絞り込みと補強,クエリ拡張に基づく統計データ向けアドホック検索2021

    • 著者名/発表者名
      岡本 卓, 宮森 恒
    • 雑誌名

      情報処理学会論文誌データベース(TOD)

      巻: 14

    • NAID

      170000185673

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 文エンコーダによるクエリ指向要約モデルの強化2019

    • 著者名/発表者名
      木村 輔、田上 諒、宮森 恒
    • 雑誌名

      情報処学会論文誌データベース(TOD)

      巻: 12 ページ: 66-79

    • NAID

      170000180560

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 幸福感を提供するVR画像閲覧システムGaZone2019

    • 著者名/発表者名
      杉本 翔、岡部 稜、喜田 将生、宮森 恒
    • 雑誌名

      情報処理学会論文誌

      巻: 60 ページ: 1970-1977

    • NAID

      170000180821

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Transformerモデルに関する順序数の的確な把握と活用能力の調査2023

    • 著者名/発表者名
      小川 志龍, 林 寛治, 宮森 恒
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 外部知識参照型拡散モデルによるテキストからのビデオ生成2023

    • 著者名/発表者名
      王 墻, 宮森 恒
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 語彙習得段階を考慮した英文法多肢選択問題の誤答選択肢自動生成2023

    • 著者名/発表者名
      戸崎 友輔, 宮森 恒
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 画像・言語モデルに関する順序数の的確な把握と活用能力の調査2023

    • 著者名/発表者名
      増田 琉斗, 宮森 恒
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] スマートフォンを用いた軽量な道路損傷の自動検出2023

    • 著者名/発表者名
      今西 智也, 宮森 恒
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム DEIM2023
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 統計データ検索のためのFT-Transformerによるランキング学習2022

    • 著者名/発表者名
      岡本 卓, 宮森 恒
    • 学会等名
      第14回データ工学と情報マネジメントに関するフォーラム DEIM2022
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] プログレッシブトランスフォーマーを用いた日本手話SLPモデルの性能評価2022

    • 著者名/発表者名
      奥井優太, 宮森恒
    • 学会等名
      第14回データ工学と情報マネジメントに関するフォーラム DEIM2022
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Ad Hoc Search On Statistical Data Based On Categorization And Metadata Augmentation2021

    • 著者名/発表者名
      Okamoto Taku、Miyamori Hisashi
    • 学会等名
      IEEE 4th International Conference on Multimedia Information Processing and Retrieval (IEEE MIPR 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] カテゴリ分類とメタデータ補強に基づく統計データに対するアドホック検索2021

    • 著者名/発表者名
      岡本 卓、宮森 恒
    • 学会等名
      第13回データ工学と情報マネジメントに関するフォーラム DEIM2021
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] KSU Systems at the NTCIR-15 Data Search Task2020

    • 著者名/発表者名
      岡本 卓、宮森 恒
    • 学会等名
      The 15th NTCIR Conference
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] KSU Systems at the NTCIR-14 QA Lab--PoliInfo Task2019

    • 著者名/発表者名
      木村 輔、田上 諒、勝山光、杉本 翔、宮森 恒
    • 学会等名
      The 14th NTCIR Conference
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] GaZone: VR Image Browsing System Providing Feelings of Happiness2019

    • 著者名/発表者名
      杉本 翔、宮森 恒
    • 学会等名
      Entertainment Computing and Serious Games. ICEC-JCSG 2019. LNCS11863
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Query-focused Summarization Enhanced with Sentence Attention Mechanism2019

    • 著者名/発表者名
      木村 輔、田上 諒、宮森 恒
    • 学会等名
      6th IEEE International Conference on Big Data and Smart Computing (BigComp 2019)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 文エンコーダによるクエリ指向要約モデルの強化2019

    • 著者名/発表者名
      木村 輔、田上 諒、宮森 恒
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム DEIM2019
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 前提知識を考慮した根拠の妥当性判断による自動回答手法2019

    • 著者名/発表者名
      田上 諒、木村 輔、宮森 恒
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム DEIM2019
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 話者用例に基づく人物らしさを反映した対話応答文生成2019

    • 著者名/発表者名
      杉本 翔、宮森 恒
    • 学会等名
      第11回データ工学と情報マネジメントに関するフォーラム DEIM2019
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 質問文から連想した画像特徴量を用いた質問応答モデル2019

    • 著者名/発表者名
      石橋陽一、森泰、木村輔、宮森恒
    • 学会等名
      言語処理学会第25回年次大会(NLP2019)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] テキストと関連画像の視覚的要素を活用した質問応答2019

    • 著者名/発表者名
      森泰、石橋陽一、宮森恒
    • 学会等名
      言語処理学会第25回年次大会(NLP2019)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 地方議会における事実確認のための会議録分割2019

    • 著者名/発表者名
      田上諒、木村輔、杉本翔、勝山光、宮森恒
    • 学会等名
      言語処理学会第25回年次大会(NLP2019)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 地方議会特有の表現に基づく政策に対する発言の賛否分類2019

    • 著者名/発表者名
      勝山光、杉本翔、田上諒、木村輔、宮森恒
    • 学会等名
      言語処理学会第25回年次大会(NLP2019)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 幸福感を提供するVR画像検索システムGaZone2018

    • 著者名/発表者名
      杉本 翔、岡部 稜、喜田 将生、宮森 恒
    • 学会等名
      エンタテインメントコンピューティングシンポジウム2018論文集
    • 関連する報告書
      2018 実施状況報告書
  • [備考] 京都産業大学 情報理工学部 宮森研究室(メディア知能研究室)

    • URL

      http://milab.kyoto-su.ac.jp/

    • 関連する報告書
      2022 実績報告書
  • [備考] 文エンコーダによるクエリ指向要約モデルの強化

    • URL

      http://id.nii.ac.jp/1001/00199671/

    • 関連する報告書
      2019 実施状況報告書
  • [備考] 幸福感を提供するVR画像閲覧システムGaZone

    • URL

      http://id.nii.ac.jp/1001/00200578/

    • 関連する報告書
      2019 実施状況報告書
  • [備考] 教員紹介

    • URL

      https://www.kyoto-su.ac.jp/faculty/professors/cse/miyamori-hisashi.html

    • 関連する報告書
      2018 実施状況報告書

URL: 

公開日: 2018-04-23   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi