• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

古典数理モデルと深層学習モデル間の知識転移に関する研究

研究課題

研究課題/領域番号 21J11146
研究種目

特別研究員奨励費

配分区分補助金
応募区分国内
審査区分 小区分61030:知能情報学関連
研究機関国立研究開発法人産業技術総合研究所 (2022)
筑波大学 (2021)

研究代表者

鈴木 藍雅  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 特別研究員(PD)

研究期間 (年度) 2021-04-28 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
1,500千円 (直接経費: 1,500千円)
2022年度: 700千円 (直接経費: 700千円)
2021年度: 800千円 (直接経費: 800千円)
キーワード深層学習 / 統計的機械学習 / 数理モデリング / ニューラルネットワーク / 人工知能
研究開始時の研究の概要

機械学習に基づく人工知能の基盤として用いられる生物の神経系を模した深層ニューラルネットワークは、その高い表現能力の一方で学習の困難さから実世界の問題に適用が難しいという問題がある。本研究は機械学習理論の黎明期から広く用いられてきた、線形統計モデルと近年の深層学習技術の間の理論的関連性を元に、両者間での知識の受け渡しのための手法および、それらの振る舞いを統一的に記述するための理論の構築を行う。これらの取り組みを通して、実世界におけるデータの不足や説明性の欠如などの問題を解決し、深層学習技術の実応用の拡大を図る。

研究実績の概要

当該研究課題について2022年度においては、目的とする古典数理モデルから深層学習モデルへの知識転移理論に関して、前年度に行った種々のモデル間の類似点や関連性についての考察から、具体的な知識転移手法の構築、およびそれらを説明する理論の精緻化を行った。
具体的な知識転移手法の構築の取組みとしては、特徴抽出部と識別部の組み合わせで、構成される実問題の解決に付する大規模深層学習モデルの汎化性能を向上させる知識転移アルゴリズムの開発に成功した。これは前年度まで明らかになった次元削減に用いられる古典・深層学習モデル、分類問題に用いられる古典・深層学習モデル間についての関連性とそれぞれに対して提案した知識転移手法を組み合わせることで、実用的なアルゴリズムへの昇華に繋がった成果である。また、これらの深層学習モデルの性能を向上させる知識転移手法の構築の取組みを通じて得られた成果を元に、医用画像解析およびバイオ分野におけるAI技術の利活用について広く考察を行った。
また理論的な取組みとしては、前年度までに得られた機械学習モデル間の知識転移という概念を定式化するための、代数学と幾何学に基づく数理モデル間の相互作用の記述の枠組みをより精緻化し、統計的機械学習一般に対する新たな代数的視点を与える理論へと発展させた。これは機械学習において広く援用される多様体仮説を代数学的に解釈した上で、具体的な知識転移手法をその上に展開することで理論的支持としたものである。本理論的取組みに対して、情報処理学会よりコンピュータサイエンス領域奨励賞の表彰を受けた。

現在までの達成度 (段落)

令和4年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和4年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (5件)

すべて 2023 2022 2021

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (3件) (うち国際学会 1件)

  • [雑誌論文] CTG-Net: Cross-task guided network for breast ultrasound diagnosis2022

    • 著者名/発表者名
      Yang Kaiwen、Suzuki Aiga、Ye Jiaxing、Nosato Hirokazu、Izumori Ayumi、Sakanashi Hidenori
    • 雑誌名

      PLOS ONE

      巻: 17 号: 8 ページ: 1-25

    • DOI

      10.1371/journal.pone.0271106

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Initialization Method of Batch Uniformization Auto Encoder by Principal Component Analysis2021

    • 著者名/発表者名
      Shogo Takaoka; Takuya Kitamura; Aiga Suzuki; Masahiro Murakawa
    • 雑誌名

      Proc. of the IEEE Symposium Series on Computational Intelligence (IEEE SSCI) 2021

      巻: 1 ページ: 1-6

    • DOI

      10.1109/ssci50451.2021.9660064

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [学会発表] 線型モデルから全結合型ニューラルネットワークに対する学習重みの知識転移2023

    • 著者名/発表者名
      鈴木 藍雅
    • 学会等名
      情報処理学会 数理モデル化と問題解決研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Multi-task Learning with Consistent Prediction for Efficient Breast Ultrasound Tumor Detection2022

    • 著者名/発表者名
      Kaiwen Yang, Aiga Suzuki, Jiaxing Ye, Hirokazu Nosato, Ayumi Izumori, Hidenori Sakanashi
    • 学会等名
      IEEE International Conference on Bioinformatics and Biomedicine 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 多様体仮説に基づく統計的機械学習の圏論的定式化2022

    • 著者名/発表者名
      鈴木 藍雅,坂無 英徳
    • 学会等名
      情報処理学会 数理モデル化と問題解決研究会
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-05-27   更新日: 2024-03-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi