• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Management and Integration for Linked Open Multimedia Data

Research Project

Project/Area Number 23K21726
Project/Area Number (Other) 21H03555 (2021-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2021-2023)
Section一般
Review Section Basic Section 62020:Web informatics and service informatics-related
Research InstitutionNagoya University

Principal Investigator

駒水 孝裕  名古屋大学, 数理・データ科学教育研究センター, 准教授 (30756367)

Co-Investigator(Kenkyū-buntansha) 井手 一郎  名古屋大学, 情報学研究科, 教授 (10332157)
石川 佳治  名古屋大学, 情報学研究科, 教授 (80263440)
波多野 賢治  同志社大学, 文化情報学部, 教授 (80314532)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2024: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2022: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2021: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Keywordsデータ統合 / マルチメディア / 探索的情報検索 / Linked Open Data / 異種データ / 不均衡性 / 検索 / 分類 / モデル軽量化 / テキスト / テキスト分類 / 画像キャプショニング / グラフデータベース / 不均衡データ / データ分類 / 異種データ統合 / データ循環
Outline of Research at the Start

昨年度までに,異種データの統合に関する基礎技術(特に,データにラベルを付与する分類問題における不均衡性の問題や大量のデータから必要な情報を効果的かつ効率的に検索する手法)を構築してきた.依然として課題はあるため,これらを更に改善することが今年度の研究内容の一つである.
一方で,これらの成果を受け,さらなる発展として,特に異種モーダルにおいてデータの統合するための基礎技術から応用技術に向けて研究を進行する.

Outline of Annual Research Achievements

本研究は,異種データを統合し活用するための仕組みを研究するのものである.これまでに基礎的な研究および応用に向けた研究を実施してきた.具体的には,与えられたデータの属性やクラスを認識するための分類問題における根本的な問題(不均衡性)に対するアプローチを提案し,国際会議 DEXA において最優秀論文賞を獲得し,研究成果の有用性を示した.この研究では,不均衡なデータの場合には,データをサンプリングするだけでなく,距離学習による特徴量の調整が効果的であることを示した.また,距離学習自体も不均衡性の影響を多分に受けるため,サンプリングとの併用によりその効果をより発揮した.加えて,大量のデータを活用するための検索技術に関しても,昨今の深層学習の流れを汲んだアプローチを提案し,国際会議 MIPR にて報告している.このアプローチでは,昨今の深層学習による特徴表現が画像やテキスト全体にかかる特徴量を抽出していることで,局所的な特徴をうまく取り込めていない課題について,入力を細分化することでその難点を克服するものである.また,異なるモダリティのデータを活用する応用研究として,料理レシピの検索において,素材の栄養素などを統合的に活用する手法を開発し,国際会議 MMAsia にて研究成果を報告した.この研究において,すでに提案されている異種ネットワークにおける関係性抽出技術 Meta-Path を料理レシピ検索に応用し,その応用可能性を示すとともに,料理レシピにおける各要素の重要性を取り込む方法を提案した.同様に,基礎研究を応用可能にするために,穀物の病害検出を対象に,実環境(ネットワークの大域が狭い)においてデバイス単独での病害検出を実現するための手法を開発し,国際会議 MVA にて発表した.これにより,検出性能の低下を 3% に抑えつつ,必要なメモリ量や検出時間を半分以下に短縮することに成功した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

上記概要のとおり,十分な研究成果を排出しており,当初計画に対して順調に進展している.

Strategy for Future Research Activity

今年度の研究成果をより発展させる.特に,応用研究を中心として,研究を深堀りすることで,まだ浮き彫りになっていない研究課題を発掘することで,本研究提案の先にある問題点を表面化させる.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (21 results)

All 2024 2023 2022 2021

All Journal Article (5 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 5 results,  Open Access: 3 results) Presentation (16 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] Zero-Shot Pill-Prescription Matching With Graph Convolutional Network and Contrastive Learning2024

    • Author(s)
      Nguyen Trung Thanh、Le Nguyen Phi、Kawanishi Yasutomo、Komamizu Takahiro、Ide Ichiro
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 55889-55904

    • DOI

      10.1109/access.2024.3390153

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Image-Collection Summarization Using Scene-Graph Generation With External Knowledge2024

    • Author(s)
      Phueaksri Itthisak、Kastner Marc A.、Kawanishi Yasutomo、Komamizu Takahiro、Ide Ichiro
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 17499-17512

    • DOI

      10.1109/access.2024.3360113

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Towards Captioning an Image Collection from a Combined Scene Graph Representation Approach2023

    • Author(s)
      Phueaksri Itthisak、Kastner Marc A.、Kawanishi Yasutomo、Komamizu Takahiro、Ide Ichiro
    • Journal Title

      Lecture Notes in Computer Science book series

      Volume: 13833 Pages: 178-190

    • DOI

      10.1007/978-3-031-27077-2_14

    • ISBN
      9783031270765, 9783031270772
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Towards Efficient Data Access Through Multiple Relationship in Graph-Structured Digital Archives2022

    • Author(s)
      Kazuma Kusu, Takahiro Komamizu, and Kenji Hatano
    • Journal Title

      From Born-Physical to Born-Virtual: Augmenting Intelligence in Digital Libraries

      Volume: - Pages: 377-391

    • DOI

      10.1007/978-3-031-21756-2_29

    • ISBN
      9783031217555, 9783031217562
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Combining Multi-ratio Undersampling and Metric Learning for Imbalanced Classification2021

    • Author(s)
      Komamizu Takahiro
    • Journal Title

      Journal of Data Intelligence

      Volume: 2 Issue: 4 Pages: 462-475

    • DOI

      10.26421/jdi2.4-5

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Towards Ensemble-Based Imbalanced Text Classification Using Metric Learning2023

    • Author(s)
      Komamizu Takahiro
    • Organizer
      Database and Expert Systems Applications - 34th International Conference, DEXA 2023, Penang, Malaysia, August 28-30, 2023, Proceedings, Part II.
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Visual Passage Score Aggregation for Image Retrieval2023

    • Author(s)
      Komamizu Takahiro
    • Organizer
      6th IEEE International Conference on Multimedia Information Processing and Retrieval, MIPR 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] RecipeMeta: Metapath-enhanced Recipe Recommendation on Heterogeneous Recipe Network2023

    • Author(s)
      Shi Jialiang、Komamizu Takahiro、Doman Keisuke、Kyutoku Haruya、Ide Ichiro
    • Organizer
      ACM Multimedia Asia 2023, MMAsia 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Image Impression Estimation by Clustering People with Similar Tastes2023

    • Author(s)
      Kojima Banri、Komamizu Takahiro、Kawanishi Yasutomo、Doman Keisuke、Ide Ichiro
    • Organizer
      18th International Conference on Machine Vision and Applications, MVA 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Towards Achieving Lightweight Deep Neural Network for Precision Agriculture with Maize Disease Detection2023

    • Author(s)
      Padeiro Carlos Victorino、Komamizu Takahiro、Ide Ichiro
    • Organizer
      18th International Conference on Machine Vision and Applications, MVA 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] PiDP: 処方箋に対する GCN の対照学習に基づく錠剤検出2023

    • Author(s)
      Trung Thanh Nguyen, Phi Le Nguyen, 川西 康友, 駒水 孝裕 , 井手 一郎
    • Organizer
      2023 年電子情報通信学会総合大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 文書分類における効果的なマルチタスク学習のための汎用的サブタスクの要件分析2023

    • Author(s)
      木村 優介, 駒水 孝裕 , 波多野 賢治
    • Organizer
      言語理解とコミュニケーション研究会,
    • Related Report
      2022 Annual Research Report
  • [Presentation] 固有表現タグおよびPOSタグによる交換制約付きデータ拡張手法2023

    • Author(s)
      寺本 優香, 駒水 孝裕 , 波多野 賢治
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Multi-task Learning-based Text Classification with Subword-Phrase Extraction2022

    • Author(s)
      Kimura Yusuke、Komamizu Takahiro、Hatano Kenji
    • Organizer
      the 11th International Symposium on Information and Communication Technology
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Action Semantic Alignment for Image Captioning2022

    • Author(s)
      Huo Da、Kastner Marc A.、Komamizu Takahiro、Ide Ichiro
    • Organizer
      IEEE 5th International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 法令間の関係を利用したモビリティ関連法令検索に関する一考察2022

    • Author(s)
      駒水 孝裕 , 外山 勝彦, 河口 信夫, 佐野 智也
    • Organizer
      第57回人工知能学会セマンティックウェブとオントロジー (SWO) 研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Towards Constructing Destination Node Index for Repetition Paths2022

    • Author(s)
      Kazuma Kusu, Takahiro Komamizu , Kenji Hatano
    • Organizer
      WebDB夏のワークショップ2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] サブワードフレーズ抽出を併用した文書分類2022

    • Author(s)
      木村 優介, 駒水 孝裕 , 波多野 賢治
    • Organizer
      WebDB夏のワークショップ2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 類似した感性を持つ人物集合抽出に基づく画像の印象推定の検討2022

    • Author(s)
      小嶋 万理, 駒水 孝裕 , 川西 康友, 道満 恵介, 井手 一郎
    • Organizer
      ディアエクスペリエンス・バーチャル環境基礎研究会 (MVE)
    • Related Report
      2022 Annual Research Report
  • [Presentation] ストップフレーズ抽出を併用した文書分類2022

    • Author(s)
      木村 優介, 駒水 孝裕 , 波多野 賢治
    • Organizer
      第14回データ工学と情報マネジメントに関するフォーラム
    • Related Report
      2021 Annual Research Report
  • [Presentation] MMEnsemble: Imbalanced Classification Framework Using Metric Learning and Multi-sampling Ratio Ensemble2021

    • Author(s)
      Takahiro Komamizu
    • Organizer
      DEXA 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi