2023 Fiscal Year Annual Research Report
異種メディア融合に基づく対話型マルチメディア検索技術の構築
| Project/Area Number |
22KJ0010
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
柳 凜太郎 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 画像検索 / 映像検索 / 深層学習 / 再検索 / 質問応答 |
|---|
| Outline of Annual Research Achievements |
本年度には，技術の実用化を目的として,申請者が一年目,二年目で構築した画像・映像再検索技術の高度化およびエッジコンピューティングデバイス上での実現を目指した手法の効率化について検討を行った. 具体的には，画像とテキストの関係性を学習することが可能な深層学習モデルにおいて，画像とテキストの対応関係を一対一の関係性ではなく多対多の包括的な関係性で学習することが可能な枠組みについて検討することで，高精度化を実現した．また，深層学習モデルに入力する際の情報を工夫することで，深層学習モデルのサイズを大幅に縮小することに成功した．さらに，構築した検索・再検索手法を観光地推薦のタスクに応用し，デモンストレーションシステムを構築することで，エッジコンピューティングデバイス上で動作する画像・映像検索手法を実現した．
本年度には，深層学習モデルの構築に関してまとめることで，1つの国際会議(IEEE International Conference on Consumer Electronics-Taiwan)および2つの論文誌(IEEE Access, International Journal of Multimedia Information Retrieval)に採択されている．さらに，構築したシステムを国際会議にてデモンストレーション発表している(ACM International Conference on Multimedia)．
|
