2019 Fiscal Year Research-status Report
Research on AI's reading comprehension of multimedia data for improving language proficiency
| Project/Area Number |
18K11557
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
宮森 恒 京都産業大学, 情報理工学部, 教授 (90287988)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 質問応答 / 画像特徴量 / 連想エンコーダ / ゲート機構 / 対話システム / 人物らしさ / 深層学習 / 自然言語処理 |
|---|
| Outline of Annual Research Achievements |
まず、テキストから視覚的要素を連想する能力については、従来法で必要だった3段階の学習ステップ(テキスト特徴と視覚的特徴の抽出、視覚的特徴の連想、連想を用いた応答生成)を、1ステップで学習する手法(手法1)、及び、これにテキスト特徴と視覚的特徴を各々どのような重要度で利用するかを適応的に変化させるゲート機構を追加した手法(手法2)について検討した。手法1では、色を尋ねる質問には適切に対処できる一方、上位カテゴリを尋ねる質問に誤りが目立ったが、手法2では、ゲート機構の導入により、色や生息地を除くほとんどのカテゴリでより誤答を防ぎ、多様な質問により適切に回答できるようになっていることを確認した。
次に、図表と文脈を関係付ける能力については、特定の図表画像とそれに関する質問に回答する質問応答タスクにおいて、図表画像を表形式に変換しSQLで問い合わせる手法について検討した。その結果、従来研究で回答できなかった質問にも適切に回答できている事例が一部にはあるものの、図表の構成要素の画像認識、及び、SQLへの変換において誤りが大きく、十分な正答率を達成するには改善すべき点が多いことを確認した。
最後に、把握した内容を説明する能力については、質問応答や対話システムにおいて、開発者の意図した人物らしさを、話者情報（話者用例とその話者のプロフィール情報）を与えることで比較的容易に反映させることが可能な応答生成手法について検討した。評価実験では、複数の被験者がそれぞれ思い描いた人物らしさが提案手法による出力応答へ反映されることを確認した。一方、特殊な語尾や口癖などについては必ずしも適切に反映できていない点があり、今後改善していく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず、テキストから視覚的要素を連想する能力については、当初の計画通り、視覚的要素の連想が機能していること、及び、2種類の分散表現から生成された回答が、テキストのみによる生成された回答に比べ、正答率が基本的に改善される傾向にあることを確認しているため。
次に、図表と文脈を関係付ける能力については、当初の計画通り、図表の構成要素を認識することで図表データの傾向を表現するモデルについて構築を進めているため。
最後に、把握した内容を説明する能力については、当初の計画に加え、質問応答や対話システムにおいて、開発者の意図した多様な人物らしさを、比較的容易に反映させる手法について検討し、基本性能を確認しているため。
|
| Strategy for Future Research Activity |
まず、テキストから視覚的要素を連想する能力については、より汎用的な質問に対する正答率を改善するため、テキスト特徴と視覚的特徴をより的確に獲得可能な学習手法など、性能向上に必要な改良を図る。
次に、図表と文脈を関係付ける能力については、現在のモデルを改良するか新たなモデルを構築することで、より的確に図表の傾向をテキストで生成できることを目指す。
最後に、把握した内容を説明する能力については、開発者の意図した多様な人物らしさを、比較的容易に反映させる手法で生成される応答を、特殊な語尾や口癖などについても適切に反映できるように改良を図る。
|
| Causes of Carryover |
新型コロナウィルス感染拡大のため、参加予定だった学会の現地開催が中止となり、当初予定していた出張旅費が未使用となり、残額が発生したため。研究成果発表等に伴う旅費や計算機関連機器の更新に必要な物品購入に充てる予定である。
|
Research Products
(6 results)
