• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Graph clustering based on multimodal data fusion and its application to retrieval

Research Project

Project/Area Number 21K17861
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 62020:Web informatics and service informatics-related
Research InstitutionNagaoka University of Technology

Principal Investigator

Harakawa Ryosuke  長岡技術科学大学, 工学研究科, 准教授 (20787022)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Discontinued (Fiscal Year 2023)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywordsマルチモーダル解析 / クラスタリング / グラフ理論 / 複雑ネットワーク / 情報検索
Outline of Research at the Start

SNS上のコンテンツ検索のため,マルチモーダルデータ統合技術によってコンテンツ特徴を抽出し,リンク関係を基に構築されたグラフ構造を解析するグラフクラスタリングの研究が注目を集めている.本研究では,コンテンツ特徴抽出とグラフクラスタリングの目的関数を統合し,同時に最適化する技術を構築することで,グラフクラスタリングを高精度化する.さらに,モダリティ毎にグラフクラスタリングを行い,各結果の信頼度を推定する技術を構築することで,大量の学習データを用意できない場合においても,高精度なグラフクラスタリングを実現する.最後に,提案技術を備えた検索システムを構築し,ユーザが求める情報を獲得可能とする.

Outline of Final Research Achievements

This research aimed to develop multimodal data integration methods that can deal with missing modalities and improve the accuracy of graph clustering to enable users to search for desired information. We conducted researches about “construction of a simultaneous optimization method for latent feature extraction and graph clustering with missing modality interpolation,”' “construction of a graph clustering method that introduces confidence estimation,” and “application of graph clustering to information retrieval.” We succeeded in developing these methods and achieved the original purpose.

Academic Significance and Societal Importance of the Research Achievements

ソーシャルネットワーキングサービス上の映像やタグ付き画像等のマルチモーダルデータが増加し続けている.蓄積されたビッグデータは,ウェブ情報学や計算社会科学などの様々な領域において活用されている.しかしながら,情報検索を行うユーザに視点に立つと,自らが望む情報を検索することが困難な情報洪水と呼ばれる問題を引き起こしている.本研究では,情報洪水問題の解決に資する基盤技術の構築に成功した.

Report

(3 results)
  • 2023 Final Research Report ( PDF )
  • 2022 Annual Research Report
  • 2021 Research-status Report
  • Research Products

    (15 results)

All 2022 2021 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (10 results) (of which Int'l Joint Research: 4 results) Remarks (3 results)

  • [Journal Article] Trend clustering from COVID-19 tweets using graphical lasso-guided iterative principal component analysis2022

    • Author(s)
      Harakawa Ryosuke、Ito Tsutomu、Iwahashi Masahiro
    • Journal Title

      Scientific Reports

      Volume: 12 Issue: 1 Pages: 1-13

    • DOI

      10.1038/s41598-022-09651-6

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] User-centric multimodal feature extraction for personalized retrieval of tumblr posts2021

    • Author(s)
      Ohtomo Kazuma、Harakawa Ryosuke、Ogawa Takahiro、Haseyama Miki、Iwahashi Masahiro
    • Journal Title

      Multimedia Tools and Applications

      Volume: 81 Issue: 2 Pages: 2979-3003

    • DOI

      10.1007/s11042-021-11634-0

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] SCQ: Self-Supervised Cross-Modal Quantization for Unsupervised Large-Scale Retrieval2022

    • Author(s)
      Nakamura Fuga、Harakawa Ryosuke、Iwahashi Masahiro
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 微生物画像の特徴表現のための自己教師ありスパースオートエンコーダに関する検討2022

    • Author(s)
      大友一馬、原川良介、岩橋政宏
    • Organizer
      信号処理シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 災害に関するTwitterデータから得られるトレンドクラスタの判別に関する検討2022

    • Author(s)
      水間黎、原川良介、岩橋政宏
    • Organizer
      信号処理シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Twitterデータを用いたトレンドクラスタの階層化手法に関する検討 ―猛暑に対する人々の関心変化検出への応用―2022

    • Author(s)
      水間黎、原川良介、岩橋政宏
    • Organizer
      電子情報通信学会 信越支部大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 行動順序を考慮したマルチモーダル推薦手法に関する検討 ―LFMCDの導入による欠損モダリティに対する頑健性の向上―2022

    • Author(s)
      大友一馬、原川良介、飯坂正樹、岩橋政宏
    • Organizer
      画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Sequential Recommender System of Educational Contents with End-to-End Title Feature Extraction for Reducing Utility Gap2021

    • Author(s)
      Ohtomo Kazuma、Harakawa Ryosuke、Iisaka Masaki、Iwahashi Masahiro
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Word Clustering Using Graphical Lasso-Guided PCA for Trend Analysis of COVID-192021

    • Author(s)
      Ito Tsutomu、Harakawa Ryosuke、Iwahashi Masahiro
    • Organizer
      IEEE Global Conference on Consumer Electronics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Product Quantization to Reduce Entropy of Labels for Fast and Accurate Image Retrieval2021

    • Author(s)
      Nakamura Fuga、Harakawa Ryosuke、Iwahashi Masahiro
    • Organizer
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 教育コンテンツの画像およびテキスト特徴がユーザの閲覧行動に与える影響の一考察2021

    • Author(s)
      大友 一馬、原川 良介、飯坂 正樹、岩橋 政宏
    • Organizer
      電子情報通信学会 信越支部大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 教育コンテンツの制約付きクラスタリングに関する検討2021

    • Author(s)
      高橋 皓暉、原川 良介、飯坂 正樹、岩橋 政宏
    • Organizer
      電子情報通信学会 信越支部大会
    • Related Report
      2021 Research-status Report
  • [Remarks] 長岡技術科学大学 画像・メディア工学研究室

    • URL

      https://tech.nagaokaut.ac.jp/

    • Related Report
      2022 Annual Research Report
  • [Remarks] 長岡技術科学大学 画像・メディア工学研究室 (岩橋研究室)

    • URL

      https://tech.nagaokaut.ac.jp/member/harakawa/

    • Related Report
      2021 Research-status Report
  • [Remarks] 長岡技術科学大学 研究者総覧

    • URL

      https://souran.nagaokaut.ac.jp/view?l=ja&u=100000847&f1=01&f2=02&sm=field&sl=en&sp=1

    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi