Graph clustering based on multimodal data fusion and its application to retrieval
| Project/Area Number |
21K17861
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Nagaoka University of Technology |
|---|
Principal Investigator |
原川 良介 長岡技術科学大学, 工学研究科, 助教 (20787022)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Discontinued (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | マルチモーダル解析 / クラスタリング / グラフ理論 / 複雑ネットワーク / 情報検索 |
|---|
| Outline of Research at the Start |
SNS上のコンテンツ検索のため，マルチモーダルデータ統合技術によってコンテンツ特徴を抽出し，リンク関係を基に構築されたグラフ構造を解析するグラフクラスタリングの研究が注目を集めている．本研究では，コンテンツ特徴抽出とグラフクラスタリングの目的関数を統合し，同時に最適化する技術を構築することで，グラフクラスタリングを高精度化する．さらに，モダリティ毎にグラフクラスタリングを行い，各結果の信頼度を推定する技術を構築することで，大量の学習データを用意できない場合においても，高精度なグラフクラスタリングを実現する．最後に，提案技術を備えた検索システムを構築し，ユーザが求める情報を獲得可能とする．
|
| Outline of Annual Research Achievements |
2022年度は，「研究の目的」および「研究実施計画」に示した【項目1：欠損モダリティ補間を備えた潜在特徴抽出とグラフクラスタリングの同時最適化技術の構築】・【項目2：信頼度推定を導入したコンセンサス・グラフクラスタリング技術の構築】・【項目3：グラフクラスタリングの検索への応用】を実施した．項目1については，直積量子化に基づく高速クロスモーダル検索のための新たな潜在特徴抽出技術を構築した．具体的には，画像とテキストの関連性の最大化と対照学習による学習データの増量を両立する損失関数を定義して最適化することで，教師ラベルが用意できない場合においても弁別性の高い潜在特徴量を抽出可能とした．さらに，ソーシャルデータに信号処理の技法を適用可能として有益情報を抽出する技術を新たに構築した．提案技術は，直接相関を持つ単峰性ガウス分布を用いてトレンドをモデル化し，グラフクラスタリングを行う．これにより，雑多なトレンドの中から，クラスタ(波形が類似したトレンドの集合)を顕在化可能とした．項目2については，画像とテキストから成るコンテンツのsequential推薦において，画像とテキストの寄与度を各々算出し，寄与度に応じて統合することで，説明性を担保しながら推薦精度を向上する技術を構築した．以上の技術は，項目3に応用できる成果であり，FLICKR25KやNUS-WIDEといったオープンデータ，Twitterデータ，企業の実データを対象とした実験を行い，有効性を確認した．以上の研究成果をまとめ，査読付き学術論文誌(1件)，査読付き国際会議(1件)，国内学会(4件)の対外発表を行った．
|
Report
(2 results)
Research Products
(15 results)
