| 研究開始時の研究の概要 |
本研究では, ユーザとの質問応答を行うことで,検索順位を改善することが可能な技術の実現を目指す. 本研究では,まず,画像・映像認識手法を用いることで検索候補から情報を抽出する.続いて,抽出された情報およびクエリに関連した情報を含む検索候補の出現頻度から,検索候補の効率的な絞り込みに最適な情報を探索し,その情報からユーザに提示すべき質問文を質問文生成器に基づいて生成する.最後に,質問文に対するユーザの回答に関連する画像・映像が上位となるように検索順位を再決定する.以上のように構築された画像・映像再検索手法により,対話型のアプローチに基づく検索順位の改善が可能になることを明らかにする.
|
| 研究実績の概要 |
本年度には，技術の実用化を目的として,申請者が一年目,二年目で構築した画像・映像再検索技術の高度化およびエッジコンピューティングデバイス上での実現を目指した手法の効率化について検討を行った. 具体的には，画像とテキストの関係性を学習することが可能な深層学習モデルにおいて，画像とテキストの対応関係を一対一の関係性ではなく多対多の包括的な関係性で学習することが可能な枠組みについて検討することで，高精度化を実現した．また，深層学習モデルに入力する際の情報を工夫することで，深層学習モデルのサイズを大幅に縮小することに成功した．さらに，構築した検索・再検索手法を観光地推薦のタスクに応用し，デモンストレーションシステムを構築することで，エッジコンピューティングデバイス上で動作する画像・映像検索手法を実現した．
本年度には，深層学習モデルの構築に関してまとめることで，1つの国際会議(IEEE International Conference on Consumer Electronics-Taiwan)および2つの論文誌(IEEE Access, International Journal of Multimedia Information Retrieval)に採択されている．さらに，構築したシステムを国際会議にてデモンストレーション発表している(ACM International Conference on Multimedia)．
|
