2021 Fiscal Year Annual Research Report
Visual Question Answering System with a Knowledge Base
| Project/Area Number |
18H03264
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
中島 悠太 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金 進東 大学共同利用機関法人情報・システム研究機構(機構本部施設等), データサイエンス共同利用基盤施設, 特任准教授 (40536893)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 質疑応答 / 知識ベース / 深層学習 |
|---|
| Outline of Annual Research Achievements |
画像や映像などの視覚情報に関する質疑応答（Visual Question Answering/Video Question Answering; VQA）は、機械と人の間の自然なインターフェイスなどのように様々な応用が考えられる技術である。本研究では、回答に際して知識が必要となる質問に対応可能なシステムを目指し、今年度は下記の課題に取り組んだ。
（１）転移学習的なアプローチによる外部知識の置き換え：外部知識はテキストやグラフなどで与えられるものであり、容易に置き換えが可能である。この課題では、異なる2つのテレビドラマシリーズに関するVQAデータセットを構築し、それぞれの外部知識を相互に置き換える方法論を検討した。結果、置き換え先のデータセットでファインチューニングしない場合は、回答精度が大きく低下することがわかった。これはテレビドラマシリーズ間の語彙の違いなどによるものと予想される。登場人物などの固有名詞に対して何を表すかの付記（例えば、人物の固有名詞に対して「Person」を付記）や、データ拡張を実施した上で少数サンプルであってもファインチューニングすることで精度の向上が可能であることを示した。
（２）知識の自動獲得： 本研究では、外部知識としてそれぞれの質問に対して質問作成者によってテキストで付与された回答の根拠を利用するものを検討している。しかし、専用に記述された根拠ではその準備などにコストが掛かる。そこで、Wikipediaやまとめサイトのように、専用に記述されたものではなく、インターネット上で入手可能なテキストを外部知識として用いる手法を提案した。実験では、インターネット上に公開されたテレビドラマの各エピソードに関するまとめのテキスト（数文程度）を外部知識として利用することで、専用に記述された根拠より高い精度で質問に対して回答できることを明らかにした。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
