• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

異種メディア融合に基づく対話型マルチメディア検索技術の構築

Research Project

Project/Area Number 22KJ0010
Project/Area Number (Other) 21J20307 (2021-2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2021-2022)
Section国内
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionHokkaido University

Principal Investigator

柳 凜太郎  北海道大学, 情報科学院, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Keywords画像検索 / 映像検索 / 深層学習 / 再検索 / 質問応答
Outline of Research at the Start

本研究では, ユーザとの質問応答を行うことで,検索順位を改善することが可能な技術の実現を目指す. 本研究では,まず,画像・映像認識手法を用いることで検索候補から情報を抽出する.続いて,抽出された情報およびクエリに関連した情報を含む検索候補の出現頻度から,検索候補の効率的な絞り込みに最適な情報を探索し,その情報からユーザに提示すべき質問文を質問文生成器に基づいて生成する.最後に,質問文に対するユーザの回答に関連する画像・映像が上位となるように検索順位を再決定する.以上のように構築された画像・映像再検索手法により,対話型のアプローチに基づく検索順位の改善が可能になることを明らかにする.

Outline of Annual Research Achievements

本年度には,技術の実用化を目的として,申請者が一年目,二年目で構築した画像・映像再検索技術の高度化およびエッジコンピューティングデバイス上での実現を目指した手法の効率化について検討を行った. 具体的には,画像とテキストの関係性を学習することが可能な深層学習モデルにおいて,画像とテキストの対応関係を一対一の関係性ではなく多対多の包括的な関係性で学習することが可能な枠組みについて検討することで,高精度化を実現した.また,深層学習モデルに入力する際の情報を工夫することで,深層学習モデルのサイズを大幅に縮小することに成功した.さらに,構築した検索・再検索手法を観光地推薦のタスクに応用し,デモンストレーションシステムを構築することで,エッジコンピューティングデバイス上で動作する画像・映像検索手法を実現した.
本年度には,深層学習モデルの構築に関してまとめることで,1つの国際会議(IEEE International Conference on Consumer Electronics-Taiwan)および2つの論文誌(IEEE Access, International Journal of Multimedia Information Retrieval)に採択されている.さらに,構築したシステムを国際会議にてデモンストレーション発表している(ACM International Conference on Multimedia).

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (12 results)

All 2024 2023 2022 2021

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 4 results) Presentation (7 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] Parameter-efficient tuning of cross-modal retrieval for a specific database via trainable textual and visual prompts2024

    • Author(s)
      Zhang Huaying、Yanagi Rintaro、Togo Ren、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      International Journal of Multimedia Information Retrieval

      Volume: 13 Issue: 1 Pages: 1-14

    • DOI

      10.1007/s13735-024-00322-y

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Cross-Modal Image Retrieval Considering Semantic Relationships With Many-to-Many Correspondence Loss2023

    • Author(s)
      Zhang Huaying、Yanagi Rintaro、Togo Ren、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 10675-10686

    • DOI

      10.1109/access.2023.3239858

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Recallable Question Answering-Based Re-Ranking Considering Semantic Region for Cross-Modal Retrieval2023

    • Author(s)
      Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • Journal Title

      IEEE Open Journal of Signal Processing

      Volume: 4 Pages: 1-11

    • DOI

      10.1109/ojsp.2023.3238280

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Interactive Re-ranking via Object Entropy-Guided Question Answering for Cross-Modal Image Retrieval2022

    • Author(s)
      Yanagi Rintaro、Togo Ren、Ogawa Takahiro、Haseyama Miki
    • Journal Title

      ACM Transactions on Multimedia Computing, Communications, and Applications

      Volume: 18 Issue: 3 Pages: 1-17

    • DOI

      10.1145/3485042

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Domain Adaptive Cross-Modal Image Retrieval via Modality and Domain Translations2021

    • Author(s)
      YANAGI Rintaro、TOGO Ren、OGAWA Takahiro、HASEYAMA Miki
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E104.A Issue: 6 Pages: 866-875

    • DOI

      10.1587/transfun.2020IMP0011

    • NAID

      130008046413

    • ISSN
      0916-8508, 1745-1337
    • Year and Date
      2021-06-01
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Parameter-efficient Tuning of a Pre-trained Model via Prompt Learning in Cross-modal Retrieval2023

    • Author(s)
      Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE International Conference on Consumer Electronics-Taiwan
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Yuya Moroto, Rintaro Yanagi, Naoki Ogawa, Kyohei Kamikawa, Keigo Sakurai, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama2023

    • Author(s)
      Personalized Content Recommender System via Non-verbal Interaction Using Face Mesh and Facial Expression
    • Organizer
      ACM International Conference on Multimedia
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Cross-modal image retrieval considering semantic relationships with object information2022

    • Author(s)
      Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Database-adaptive transfer learning for question answering-based re-ranking in cross-modal retrieval2022

    • Author(s)
      Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • Organizer
      第25回 画像の認識・理解シンポジウム (MIRU 2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] ゴム材料開発のための generative adversarial network に基づく配合量および物性からの電子顕微鏡画像の生成に関する一検討2022

    • Author(s)
      柳 凜太郎, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • Organizer
      映像情報メディア学会技術報告
    • Related Report
      2021 Annual Research Report
  • [Presentation] Database-adaptive re-ranking for enhancing cross-modal image retrieval2021

    • Author(s)
      Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • Organizer
      ACM International Conference on Multimedia
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] IR Questioner: QA-based interactive retrieval system2021

    • Author(s)
      Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama
    • Organizer
      ACM International Conference on Multimedia Retrieval
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-05-27   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi