• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

異種メディア融合に基づく対話型マルチメディア検索技術の構築

研究課題

研究課題/領域番号 22KJ0010
配分区分基金
研究機関北海道大学

研究代表者

柳 凜太郎  北海道大学, 情報科学院, 特別研究員(DC1)

研究期間 (年度) 2023-03-08 – 2024-03-31
キーワード画像検索 / 映像検索 / 深層学習 / 再検索 / 質問応答
研究実績の概要

本年度には,技術の実用化を目的として,申請者が一年目,二年目で構築した画像・映像再検索技術の高度化およびエッジコンピューティングデバイス上での実現を目指した手法の効率化について検討を行った. 具体的には,画像とテキストの関係性を学習することが可能な深層学習モデルにおいて,画像とテキストの対応関係を一対一の関係性ではなく多対多の包括的な関係性で学習することが可能な枠組みについて検討することで,高精度化を実現した.また,深層学習モデルに入力する際の情報を工夫することで,深層学習モデルのサイズを大幅に縮小することに成功した.さらに,構築した検索・再検索手法を観光地推薦のタスクに応用し,デモンストレーションシステムを構築することで,エッジコンピューティングデバイス上で動作する画像・映像検索手法を実現した.
本年度には,深層学習モデルの構築に関してまとめることで,1つの国際会議(IEEE International Conference on Consumer Electronics-Taiwan)および2つの論文誌(IEEE Access, International Journal of Multimedia Information Retrieval)に採択されている.さらに,構築したシステムを国際会議にてデモンストレーション発表している(ACM International Conference on Multimedia).

  • 研究成果

    (4件)

すべて 2024 2023

すべて 雑誌論文 (2件) 学会発表 (2件) (うち国際学会 2件)

  • [雑誌論文] Parameter-efficient tuning of cross-modal retrieval for a specific database via trainable textual and visual prompts2024

    • 著者名/発表者名
      Zhang Huaying、Yanagi Rintaro、Togo Ren、Ogawa Takahiro、Haseyama Miki
    • 雑誌名

      International Journal of Multimedia Information Retrieval

      巻: 13 ページ: 1-14

    • DOI

      10.1007/s13735-024-00322-y

  • [雑誌論文] Cross-Modal Image Retrieval Considering Semantic Relationships With Many-to-Many Correspondence Loss2023

    • 著者名/発表者名
      Zhang Huaying、Yanagi Rintaro、Togo Ren、Ogawa Takahiro、Haseyama Miki
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 10675~10686

    • DOI

      10.1109/ACCESS.2023.3239858

  • [学会発表] Parameter-efficient Tuning of a Pre-trained Model via Prompt Learning in Cross-modal Retrieval2023

    • 著者名/発表者名
      Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      IEEE International Conference on Consumer Electronics-Taiwan
    • 国際学会
  • [学会発表] Yuya Moroto, Rintaro Yanagi, Naoki Ogawa, Kyohei Kamikawa, Keigo Sakurai, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama2023

    • 著者名/発表者名
      Personalized Content Recommender System via Non-verbal Interaction Using Face Mesh and Facial Expression
    • 学会等名
      ACM International Conference on Multimedia
    • 国際学会

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi