• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Knowledge Routing Method for Modality Networks

Research Project

Project/Area Number 19K22861
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Tokyo

Principal Investigator

Nakayama Hideki  東京大学, 大学院情報理工学系研究科, 准教授 (00643305)

Project Period (FY) 2019-06-28 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2020: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2019: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywords教師なし学習 / 少ラベル学習 / 連合学習 / マルチモーダル / 画像認識 / 自然言語処理 / 少量データ学習 / ゼロショット学習 / ドメイン一般化 / 知識発見 / 転移学習 / ピボット学習 / モダリティネットワーク
Outline of Research at the Start

現在産業的に成功している機械学習技術の多くは、入出力の事例(パラレルデータ)が十分に与えられる教師付き学習の枠組みに則っている。しかしながら、我が国ではデータの構築・活用は各企業や個人レベルでローカルに行われることが多く、大量のパラレルデータを用意することは現実的には困難である場合が多い。
本研究では、社会において局所的に偏在する多数のマルチモーダルデータが全体として構成する疎なグラフを考え、グラフ上の任意のモダリティ間の関連性を発見・最大化するための基盤技術を開発する。これにより、直接の教師データなしに任意のデータ間での予測や推論を可能とすることを狙うものである。

Outline of Final Research Achievements

In this study, we proposed and developed a fundamental technology for collaboratively utilizing various data resources that exist individually, while keeping the respective data secret. Specifically, we attempted to extract enough information from each local data by unsupervised learning and few-label learning, and to indirectly link them by open-set federated learning. The results of this research have been accepted by top international journals and conferences such as TACL and ECCV.

Academic Significance and Societal Importance of the Research Achievements

現在成功している機械学習技術の多くは、入出力の事例(ラベル付きデータ)が十分に与えられる教師あり学習の枠組みに則っているが、実際の応用場面では大量のラベル付きデータを各人が用意することは必ずしも容易ではない。一つの解決策として、社会において個別に存在するデータを協調的に活用することが考えられるが、単純にデータを共有することはプライバシー等の観点から難しいことが多い。本研究で得られた技術により、さまざまなデータを各所有者が秘匿したまま統合的に活用することを可能とし、社会における新しいデータ活用の一助になると期待できる。

Report

(3 results)
  • 2020 Annual Research Report   Final Research Report ( PDF )
  • 2019 Research-status Report
  • Research Products

    (27 results)

All 2021 2020 2019 Other

All Journal Article (8 results) (of which Peer Reviewed: 8 results,  Open Access: 2 results) Presentation (18 results) (of which Int'l Joint Research: 7 results,  Invited: 3 results) Remarks (1 results)

  • [Journal Article] Graph-based Heuristic Search for Module Selection Procedure in Neural Module Network2021

    • Author(s)
      Yuxuan Wu, Hideki Nakayama
    • Journal Title

      Computer Vision - ACCV 2020

      Volume: LNCS 12624 Pages: 560-575

    • DOI

      10.1007/978-3-030-69535-4_34

    • ISBN
      9783030695347, 9783030695354
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Semantic Image Synthesis from Inaccurate and Coarse Masks2021

    • Author(s)
      Kai Katsumata, Hideki Nakayama
    • Journal Title

      Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)

      Volume: -

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Efficient Base Class Selection Algorithms for Few-Shot Classification2020

    • Author(s)
      Takumi Ohkuma, Hideki Nakayama
    • Journal Title

      Proceedings of the 2020 International Conference on Multimedia Retrieval (ICMR)

      Volume: - Pages: 271-275

    • DOI

      10.1145/3372278.3390724

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Faster AutoAugment: Learning Augmentation Strategies using Backpropagation2020

    • Author(s)
      Ryuichiro Hataya, Zdenek Jan, Kazuki Yoshizoe, Hideki Nakayama
    • Journal Title

      Computer Vision - ECCV 2020

      Volume: LNCS 12370 Pages: 1-16

    • DOI

      10.1007/978-3-030-58595-2_1

    • NAID

      130007857024

    • ISBN
      9783030585945, 9783030585952
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Unsupervised Visual Relationship Inference2020

    • Author(s)
      Taiga Kashima, Kento Masui, Hideki Nakayama
    • Journal Title

      Proceedings of the IEEE International Conference on Image Processing (ICIP)

      Volume: - Pages: 1476-1480

    • DOI

      10.1109/icip40778.2020.9190770

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Unsupervised Discourse Constituency Parsing Using Viterbi EM2020

    • Author(s)
      Noriki Nishida, Hideki Nakayama
    • Journal Title

      Transactions of the Association for Computational Linguistics

      Volume: 8 Pages: 215-230

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Erasing Scene Text with Weak Supervision2020

    • Author(s)
      Jan Zdenek, Hideki Nakayama
    • Journal Title

      Proceedings of the IEEE Winter Conference on Applications of Computer Vision (WACV)

      Volume: - Pages: 2238-2246

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] Efficient Base Class Selection Algorithms for Few-Shot Classification2020

    • Author(s)
      Takumi Ohkuma, Hideki Nakayama
    • Journal Title

      Proceedings of the ACM International Conference on Multimedia Retrieval (ICMR)

      Volume: -

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] Semantic Image Synthesis from Inaccurate and Coarse Masks2021

    • Author(s)
      Kai Katsumata, Hideki Nakayama
    • Organizer
      IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 相互情報量最小化による例文に基づく制御可能な言い換え生成2021

    • Author(s)
      杉浦昇太, 西田典起, 朱中元, 中山英樹
    • Organizer
      言語処理学会 第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] Efficient Base Class Selection Algorithms for Few-Shot Classification2020

    • Author(s)
      Takumi Ohkuma, Hideki Nakayama
    • Organizer
      International Conference on Multimedia Retrieval (ICMR)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Faster AutoAugment: Learning Augmentation Strategies using Backpropagation2020

    • Author(s)
      Ryuichiro Hataya, Zdenek Jan, Kazuki Yoshizoe, Hideki Nakayama
    • Organizer
      European Conference on Computer Vision (ECCV)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Unsupervised Visual Relationship Inference2020

    • Author(s)
      Taiga Kashima, Kento Masui, Hideki Nakayama
    • Organizer
      IEEE International Conference on Image Processing (ICIP)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Graph-based Heuristic Search for Module Selection Procedure in Neural Module Network2020

    • Author(s)
      Yuxuan Wu, Hideki Nakayama
    • Organizer
      Asian Conference on Computer Vision (ACCV)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] MADAO: データ拡張最適化のためのメタ的アプローチ2020

    • Author(s)
      幡谷龍一郎, ズデネクヤン, 美添一樹, 中山英樹
    • Organizer
      第23回 画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Few-shot classificationにおけるベースクラスデータ多様化の有効性2020

    • Author(s)
      大熊拓海, 中山英樹
    • Organizer
      第23回 画像の認識・理解シンポジウム (MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Belonging Network -- Few-shot One-class Image Classification for Classes with Various Distributions --2020

    • Author(s)
      Takumi Ohkuma, Hideki Nakayama
    • Organizer
      電子情報通信学会 PRMU 2020年度12月研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 談話の削除不可能性に基づく教師なし談話核性分類2020

    • Author(s)
      西田典起, 中山英樹
    • Organizer
      言語処理学会 第26回年次大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 名詞句の並び替えによる教師なし言い換え生成の検討2020

    • Author(s)
      杉浦昇太, 西田典起, 中山英樹
    • Organizer
      言語処理学会 第26回年次大会
    • Related Report
      2019 Research-status Report
  • [Presentation] MADAO: データ拡張最適化のためのメタ的アプローチ2020

    • Author(s)
      幡谷龍一郎, 中山英樹
    • Organizer
      第23回 画像の認識・理解シンポジウム (MIRU 2020)
    • Related Report
      2019 Research-status Report
  • [Presentation] Few-shot classificationにおけるベースクラスデータ多様化の有効性2020

    • Author(s)
      大熊拓海, 中山英樹
    • Organizer
      第23回 画像の認識・理解シンポジウム (MIRU 2020)
    • Related Report
      2019 Research-status Report
  • [Presentation] Erasing Scene Text with Weak Supervision2020

    • Author(s)
      Jan Zdenek, Hideki Nakayama
    • Organizer
      The IEEE Winter Conference on Applications of Computer Vision (WACV 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Efficient Base Class Selection Algorithms for Few-Shot Classification2020

    • Author(s)
      Takumi Ohkuma, Hideki Nakayama
    • Organizer
      The ACM International Conference on Multimedia Retrieval (ICMR 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 深層学習の発展と応用2019

    • Author(s)
      中山英樹
    • Organizer
      応用物理学会 第152回微小光学研究会
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 機械学習とマルチメディア認識理解2019

    • Author(s)
      中山英樹
    • Organizer
      第4回 統計・機械学習若手シンポジウム
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] マルチモーダル情報と機械翻訳2019

    • Author(s)
      中山英樹
    • Organizer
      アジア太平洋機械翻訳協会年次セミナー AAMT 2019, Tokyo ~機械翻訳最前線~
    • Related Report
      2019 Research-status Report
    • Invited
  • [Remarks] 少ないデータからの機械学習に関する研究内容と成果

    • URL

      http://www.nlab.ci.i.u-tokyo.ac.jp/projects.html

    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-07-04   Modified: 2022-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi