• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study of Knowledge Transfer between Linear Models and Deep Neural Networks

Research Project

Project/Area Number 21J11146
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionNational Institute of Advanced Industrial Science and Technology (2022)
University of Tsukuba (2021)

Principal Investigator

鈴木 藍雅  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 特別研究員(PD)

Project Period (FY) 2021-04-28 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Keywords深層学習 / 統計的機械学習 / 数理モデリング / ニューラルネットワーク / 人工知能
Outline of Research at the Start

機械学習に基づく人工知能の基盤として用いられる生物の神経系を模した深層ニューラルネットワークは、その高い表現能力の一方で学習の困難さから実世界の問題に適用が難しいという問題がある。本研究は機械学習理論の黎明期から広く用いられてきた、線形統計モデルと近年の深層学習技術の間の理論的関連性を元に、両者間での知識の受け渡しのための手法および、それらの振る舞いを統一的に記述するための理論の構築を行う。これらの取り組みを通して、実世界におけるデータの不足や説明性の欠如などの問題を解決し、深層学習技術の実応用の拡大を図る。

Outline of Annual Research Achievements

当該研究課題について2022年度においては、目的とする古典数理モデルから深層学習モデルへの知識転移理論に関して、前年度に行った種々のモデル間の類似点や関連性についての考察から、具体的な知識転移手法の構築、およびそれらを説明する理論の精緻化を行った。
具体的な知識転移手法の構築の取組みとしては、特徴抽出部と識別部の組み合わせで、構成される実問題の解決に付する大規模深層学習モデルの汎化性能を向上させる知識転移アルゴリズムの開発に成功した。これは前年度まで明らかになった次元削減に用いられる古典・深層学習モデル、分類問題に用いられる古典・深層学習モデル間についての関連性とそれぞれに対して提案した知識転移手法を組み合わせることで、実用的なアルゴリズムへの昇華に繋がった成果である。また、これらの深層学習モデルの性能を向上させる知識転移手法の構築の取組みを通じて得られた成果を元に、医用画像解析およびバイオ分野におけるAI技術の利活用について広く考察を行った。
また理論的な取組みとしては、前年度までに得られた機械学習モデル間の知識転移という概念を定式化するための、代数学と幾何学に基づく数理モデル間の相互作用の記述の枠組みをより精緻化し、統計的機械学習一般に対する新たな代数的視点を与える理論へと発展させた。これは機械学習において広く援用される多様体仮説を代数学的に解釈した上で、具体的な知識転移手法をその上に展開することで理論的支持としたものである。本理論的取組みに対して、情報処理学会よりコンピュータサイエンス領域奨励賞の表彰を受けた。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (5 results)

All 2023 2022 2021

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (3 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] CTG-Net: Cross-task guided network for breast ultrasound diagnosis2022

    • Author(s)
      Yang Kaiwen、Suzuki Aiga、Ye Jiaxing、Nosato Hirokazu、Izumori Ayumi、Sakanashi Hidenori
    • Journal Title

      PLOS ONE

      Volume: 17 Issue: 8 Pages: 1-25

    • DOI

      10.1371/journal.pone.0271106

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Initialization Method of Batch Uniformization Auto Encoder by Principal Component Analysis2021

    • Author(s)
      Shogo Takaoka; Takuya Kitamura; Aiga Suzuki; Masahiro Murakawa
    • Journal Title

      Proc. of the IEEE Symposium Series on Computational Intelligence (IEEE SSCI) 2021

      Volume: 1 Pages: 1-6

    • DOI

      10.1109/ssci50451.2021.9660064

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Presentation] 線型モデルから全結合型ニューラルネットワークに対する学習重みの知識転移2023

    • Author(s)
      鈴木 藍雅
    • Organizer
      情報処理学会 数理モデル化と問題解決研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Multi-task Learning with Consistent Prediction for Efficient Breast Ultrasound Tumor Detection2022

    • Author(s)
      Kaiwen Yang, Aiga Suzuki, Jiaxing Ye, Hirokazu Nosato, Ayumi Izumori, Hidenori Sakanashi
    • Organizer
      IEEE International Conference on Bioinformatics and Biomedicine 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 多様体仮説に基づく統計的機械学習の圏論的定式化2022

    • Author(s)
      鈴木 藍雅,坂無 英徳
    • Organizer
      情報処理学会 数理モデル化と問題解決研究会
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi