• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Analysis of transfer learning based on information geometry

Research Project

Project/Area Number 23K24909
Project/Area Number (Other) 22H03653 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

日野 英逸  統計数理研究所, 先端データサイエンス研究系, 教授 (10580079)

Co-Investigator(Kenkyū-buntansha) 藤木 淳  福岡大学, 理学部, 教授 (10357907)
赤穗 昭太郎  統計数理研究所, 大学統計教員育成センター, 特任教授 (40356340)
村田 昇  早稲田大学, 理工学術院, 教授 (60242038)
Project Period (FY) 2024-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥16,510,000 (Direct Cost: ¥12,700,000、Indirect Cost: ¥3,810,000)
Fiscal Year 2026: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2025: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords情報幾何学 / 転移学習 / 機械学習 / 情報幾何
Outline of Research at the Start

機械学習の諸手法を実問題に適用することを考えるとき、学習データと実運用データの性質が異なる場合が多い。このギャップを埋め、機械学習を広げるために転移学習が必要である。本研究では転移学習のメカニズムを情報幾何学から解明し、共変量シフトやターゲットシフトの問題を幾何学的に統一的に理解する。新しいアルゴリズムを開発し、知識転移の条件を分析し、転移学習の新しい方法を構築する。地球科学や脳神経科学などの現実データへの応用を通じて、地域性・個別性の高いデータから普遍的法則を抽出する新たな方法論を提供することを目指す。

Outline of Annual Research Achievements

2024年度は、情報幾何学に基づく転移学習の理論解析とアルゴリズム開発を中心に、計画課題に沿った複数の成果を挙げた。まず、確率分布空間上の幾何構造に基づく非平衡輸送問題の定式化とその解法を提案し、それを因果推論に応用した。また、一昨年度の共変量シフトの情報幾何的解析と関連して,重み付き損失最適化に関するサーベイ論文を発表した.さらに、ターゲットデータ生成を伴う分布適応として、拡張されたSobolev計量によりグラフ上の勾配流を構築し、不均衡かつ新規変数が観測された場合でも有効な転移学習を可能とする理論的枠組みを確立した。さらに、正規化フローに基づく段階的ドメイン適応の方法論を提案した。これらの成果は、課題2「勾配流によるターゲットデータ拡張と学習可能性」の実現に直結するものである。以上の成果は、いずれも学術論文あるいは国際会議にて発表され、転移学習理論における幾何的手法の有効性と一般性を支持する結果となった。
また、離散確率モデルの情報幾何学的解析を行い、具体的には行列式点過程モデルの幾何構造を明らかにすることができた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

理論的進展は当初の想定以上のペースで進んでおり、正規化フローを用いた段階的転移学習の理論と方法論、新規観測変数が発生した場合の最適輸送に基づく転移学習の方法論等の成果を得た。地球化学における応用についても一定の成果は得られたが、研究計画の後半に入ったため、出口を意識した研究に注力する必要があると認識している。

Strategy for Future Research Activity

これまでと同様に理論研究を進めるとともに,開発したフレームワークの展開に務める.理論的研究としては,既にフローに基づく幾何学的転移学習に関する成果を複数得ているため,以降は離散確率モデルの幾何構造の解析や,離散確率モデル同士の距離尺度の開発等を通して幾何構造と情報・知識転移の関連を研究する.応用面では,地球化学,特に海洋漂流物などの具体的な問題に対して開発済みの手法を適用し,その有用性を実問題で検証・展開する.

Report

(3 results)
  • 2024 Research-status Report
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (23 results)

All 2025 2024 2023 2022

All Journal Article (11 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 11 results,  Open Access: 10 results) Presentation (10 results) (of which Int'l Joint Research: 1 results) Book (1 results) Funded Workshop (1 results)

  • [Journal Article] An embedding structure of determinantal point process2024

    • Author(s)
      Hino Hideitsu、Yano Keisuke
    • Journal Title

      Information Geometry

      Volume: 7 Issue: 2 Pages: 523-542

    • DOI

      10.1007/s41884-024-00156-x

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Short Survey on Importance Weighting for Machine Learning2024

    • Author(s)
      Masanari Kimura, Hideitsu Hino
    • Journal Title

      Transactions on Machine Learning Research

      Volume: - Pages: 12-12

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Scalable Counterfactual Distribution Estimation in Multivariate Causal Models2024

    • Author(s)
      Thong Pham, Shohei Shimizu, Hideitsu Hino, Tam Le
    • Journal Title

      Proceedings of the Third Conference on Causal Learning and Reasoning

      Volume: 236 Pages: 118-1140

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Minorization-Maximization for Learning Determinantal Point Processes2023

    • Author(s)
      Takahiro Kawashima , Hideitsu Hino
    • Journal Title

      Transactions on Machine Learning Research

      Volume: - Pages: 1-18

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] ATNAS: Automatic Termination for Neural Architecture Search2023

    • Author(s)
      Sakamoto Kotaro、Ishibashi Hideaki、Sato Rei、Shirakawa Shinichi、Akimoto Youhei、Hino Hideitsu
    • Journal Title

      Neural Networks

      Volume: 166 Pages: 446-458

    • DOI

      10.1016/j.neunet.2023.07.011

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Information-Based Probabilistic Verification Scores for Two-Dimensional Ensemble Forecast Data: A Madden-Julian Oscillation Index Example2023

    • Author(s)
      Takaya Yuhei、Komatsu Kensuke K.、Hino Hideitsu、Frederic Vitart
    • Journal Title

      Monthly Weather Review

      Volume: 151 Issue: 9 Pages: 2245-2255

    • DOI

      10.1175/mwr-d-23-0003.1

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Information Geometrically Generalized Covariate Shift Adaptation2022

    • Author(s)
      Kimura Masanari、Hino Hideitsu
    • Journal Title

      Neural Computation

      Volume: 34 Issue: 9 Pages: 1944-1977

    • DOI

      10.1162/neco_a_01526

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Extracting the geochemical characteristics of magmas in different global tectono-magmatic settings using sparse modeling2022

    • Author(s)
      Ueki Kenta、Hino Hideitsu、Kuwatani Tatsu
    • Journal Title

      Frontiers in Earth Science

      Volume: 10 Pages: 994580-994580

    • DOI

      10.3389/feart.2022.994580

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Subduction-zone parameters that control slab behavior at the 660-km discontinuity revealed by logistic regression analysis and model selection2022

    • Author(s)
      Nakao Atsushi、Kuwatani Tatsu、Ueki Kenta、Yoshida Kenta、Yutani Taku、Hino Hideitsu、Akaho Shotaro
    • Journal Title

      Frontiers in Earth Science

      Volume: 10

    • DOI

      10.3389/feart.2022.1008058

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Geometry of EM and related iterative algorithms2022

    • Author(s)
      Hino Hideitsu、Akaho Shotaro、Murata Noboru
    • Journal Title

      Information Geometry

      Volume: - Issue: S1 Pages: 39-77

    • DOI

      10.1007/s41884-022-00080-y

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Active learning by query by committee with robust divergences2022

    • Author(s)
      Hideitsu Hino, Shinto Eguchi
    • Journal Title

      Information Geometry

      Volume: 6 Issue: 1 Pages: 1-29

    • DOI

      10.1007/s41884-022-00081-x

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] グラフ上の距離を用いたFused Gromov-Wasserstein最適輸送による変数の拡張に対するドメイン適応2024

    • Author(s)
      有竹 俊光, 日野 英逸
    • Organizer
      2024年度人工知能学会全国大会
    • Related Report
      2024 Research-status Report
  • [Presentation] 引力と斥力を制御可能なべき集合上の分布族2024

    • Author(s)
      川島貴大,日野英逸
    • Organizer
      第27回情報論的学習理論ワークショップ
    • Related Report
      2024 Research-status Report
  • [Presentation] Neural Submodular Bregman Divergences2023

    • Author(s)
      木村正成 , 川島貴大 , 相馬輔 , 日野英逸
    • Organizer
      第26回情報論的学習理論ワークショップ(IBIS2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] グラフ上の距離を用いたFused Gromov-Wasserstein最適輸送による変数の拡張に対するドメイン適応2023

    • Author(s)
      有竹俊光 , 日野英逸
    • Organizer
      第26回情報論的学習理論ワークショップ(IBIS2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 多次元項目応答理論における,非補償型-補償型の誤特定下での推定分散について2023

    • Author(s)
      玉野浩嗣 , 日野英逸 , 持橋大地
    • Organizer
      日本行動計量学会第51回大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 生成モデルを活用する段階的ドメイン適応2023

    • Author(s)
      佐川 正悟 , 日野 英逸
    • Organizer
      2023年度 人工知能学会全国大会(第37回)
    • Related Report
      2023 Annual Research Report
  • [Presentation] A stopping criterion for Bayesian optimization by the gap of expected minimum simple regrets2023

    • Author(s)
      Hideaki Ishibashi , Masayuki Karasuyama , Ichiro Takeuchi , Hideitsu Hino
    • Organizer
      The 26th International Conference on Artificial Intelligence and Statistics (AISTATS2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Normalizing Flowを用いた段階的ドメイン適応2023

    • Author(s)
      佐川正悟,日野英逸
    • Organizer
      第25回情報論的学習理論ワークショップ
    • Related Report
      2022 Annual Research Report
  • [Presentation] 沈み込むプレートのペネトレーション/スタグネーションと沈み込み帯パラメタを関係づける回帰分析とモデル選択2022

    • Author(s)
      中尾篤史,桑谷立,上木賢太,吉田健太,油谷拓,日野英逸,赤穂昭太郎
    • Organizer
      日本地球惑星連合大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Multifidelity能動学習を用いた段階的ドメイン適応2022

    • Author(s)
      佐川正悟,日野英逸
    • Organizer
      第46回IBISML研究会
    • Related Report
      2022 Annual Research Report
  • [Book] マテリアル・機械学習・ロボット(現代化学増刊48), ベイズ最適化の停止基準2024

    • Author(s)
      日野英逸
    • Total Pages
      4
    • Publisher
      株式会社 東京化学同人
    • Related Report
      2023 Annual Research Report
  • [Funded Workshop] Further Developments of Information Geometry2025

    • Related Report
      2024 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi