| 研究開始時の研究の概要 |
本研究では, ユーザとの質問応答を行うことで,検索順位を改善することが可能な技術の実現を目指す. 本研究では,まず,画像・映像認識手法を用いることで検索候補から情報を抽出する.続いて,抽出された情報およびクエリに関連した情報を含む検索候補の出現頻度から,検索候補の効率的な絞り込みに最適な情報を探索し,その情報からユーザに提示すべき質問文を質問文生成器に基づいて生成する.最後に,質問文に対するユーザの回答に関連する画像・映像が上位となるように検索順位を再決定する.以上のように構築された画像・映像再検索手法により,対話型のアプローチに基づく検索順位の改善が可能になることを明らかにする.
|
| 今後の研究の推進方策 |
来年度以降の研究では，技術の実用化を目的として,申請者が一年目,二年目で構築した画像・映像再検索技術をエッジコンピューティングデバイス上で実現する予定である. 具体的には，深層学習モデルのサイズを縮小するnetwork pruning・teacher-studentおよびデータベースのサイズを縮小するimage distillationの技術に基づいて，構築したVisual Question Generationモデルや検索手法の省メモリ化および計算量の削減を実現する．また，実際の画像・映像再検索アプリケーションを作成することで，携帯端末(Android端末)や複合現実端末(Magic leap)などの多様なデバイスで動作可能であることを確認する予定である．最終的には，上記により得られた研究成果をマルチメディアや検索に関する国際会議(ACM International Conference on Multimedia, ACM International
Conference on Multimedia Retrieval)で発表することに加えて，IEEE Transaction on Multimediaなどの論文誌に積極的に投稿することを予定している．また，実社会応用を見据えてデモンストレーションとしても発表する予定である．
|
