Research on AI's reading comprehension of multimedia data for improving language proficiency
| Project/Area Number |
18K11557
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2018: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | マルチモーダル / 読解力 / 統計データ / リランキング / 質問応答 / 画像特徴量 / 深層学習 / 人工知能 / ファクトチェック支援 / クエリ志向文書要約 / マルチモーダル対話 / 内部状態推定 / 再ランキング / 手話生成 / 日本手話 / 3D動作 / ビデオ質問応答 / 字幕 / 感情 / 統計データ検索 / 表理解 / ヘッダ抽出 / 対話システム / 連想エンコーダ / ゲート機構 / 人物らしさ / 自然言語処理 / キャプション生成 / 文エンコーダ / マルチメディアデータ |
|---|
| Outline of Final Research Achievements |
This research aims to establish an essential technology to realize more human-like accurate reading comprehension, which cannot be achieved by conventional natural language processing alone, by building a model that utilizes multimedia data such as images and charts.
The main achievements include a question-answering method that jointly utilizes text and feature expressions of images derived from text, a method for ranking and relating statistical data described in tabular form from text that the user wants to examine, and a method for performing query-oriented summarization using sentence encoders to explain what has been grasped.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究の学術的独自性は、文章を読みながら頭の中に視覚的要素を思い描いたり、文章を読む際に様々な知識や文脈と関係付けながらその内容理解を促進するといった、より人間らしい読解力を、画像や図表といったマルチメディアデータを活用したモデル構築により実現することに着眼している点である。本研究は、人とのより的確なインタラクションが求められるアプリケーションに広く応用することが可能であり、あらゆる場面で快適で豊かな生活を実現する超スマート社会の根幹を担う技術の一つとして貢献することが期待できる。
|
Report
(6 results)
Research Products
(29 results)
