Mathematics and application of deep learning
| Project Area | Foundation of "Machine Learning Physics" --- Revolutionary Transformation of Fundamental Physics by A New Field Integrating Machine Learning and Physics |
|---|
| Project/Area Number |
22H05116
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (A)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (II)
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
田中 章詞 国立研究開発法人理化学研究所, 革新知能統合研究センター, 上級研究員 (20791924)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
唐木田 亮 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30803902)
瀧 雅人 立教大学, 人工知能科学研究科, 准教授 (70548221)
|
|---|
| Project Period (FY) |
2022-06-16 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥101,010,000 (Direct Cost: ¥77,700,000、Indirect Cost: ¥23,310,000)
Fiscal Year 2024: ¥20,280,000 (Direct Cost: ¥15,600,000、Indirect Cost: ¥4,680,000)
Fiscal Year 2023: ¥19,760,000 (Direct Cost: ¥15,200,000、Indirect Cost: ¥4,560,000)
Fiscal Year 2022: ¥18,980,000 (Direct Cost: ¥14,600,000、Indirect Cost: ¥4,380,000)
|
|---|
| Keywords | 深層学習 / 機械学習 |
|---|
| Outline of Research at the Start |
ここ十数年のうちに起こった機械学習(Machine Learning)の技術の劇的な発展のうちの多くが、深層学習(Deep Learning)の手法によるものであることは疑いの余地がないが、それにもかかわらず深層学習は従来の統計的機械学習の常識から見ると理論保証が難しいこともよく知られた事実である。本研究では従来の機械学習の理論研究手法に加え、物理学からもたらされた知見を結合し、深層学習の理論/応用の両方にさらなる深い理解、発展をもたらすことを目的とする。
|
| Outline of Annual Research Achievements |
計画研究班がオーガナイザーとなり、数名の有志を募り、最近の機械学習に関する論文についての勉強会（論文報告会）を開催することで、近年の研究動向を共有した。また、本領域が主催する計算物理に関する勉強会（計算物理春の学校2023）にて、田中が生成モデルに関する入門講義を、瀧が深層学習に関する入門講義を、最近の動向も含めて行った。これに加え、本領域が主催する勉強会（物理屋のための機械学習講義）にて、田中が最適輸送理論入門の講義を行なった。各分担者の個別の研究実績は以下のようになっている：
【田中】：本領域の他の計画研究班との活動としては、物理応用への論文（格子ゲージ理論への機械学習技術の応用）を出版した。また、深層生成モデルと最適輸送に関する研究講演と、近年注目を集めている拡散モデルを含む深層生成モデルのサーベイを行った。
【瀧】：本年度は、Transformerに基づくコンピュータビジョンモデルの研究、およびその敵対的攻撃や分布シフトに対する堅牢性の調査などを行い、結果を発表した。特に現在注目を集めているMetaFormerと呼ばれる深層学習モデルに対象を絞って研究した。
【唐木田】：継続学習における知識転移を統計力学的解析(レプリカ法)で特徴づけた研究成果を発表した (Karakida & Akaho 2022). また, 生体の神経回路から着想をえた, 相関のある結合でのNTK回帰 (Watanabe et al, 2023), 注意機構のあるボルツマンマシン (Ota & Karakida 2023)の開発を行い, 論文成果を得た.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【田中】：近年の生成モデルの潮流として、ランジュバン動力学に代表される確率的な更新を何度か適用する手法が挙げられるが、いくつかのアルゴリズムを試した結果、更新の適用回数を増やすと生成クオリティが向上するものの、当然ではあるが計算コストがかかるため時間を要するというトレードオフ関係がある。このことについて数理的なアプローチをいくつか試している。
【瀧】：現在Transformerの発展を受け、コンピュータビジョンモデルの性能向上が続いている。その一方、モデルの敵対的事例に対する堅牢性は十分に改善していない。そこで現在は、最新のコンピュータビジョンモデルの改良を行いながら、その堅牢性への効果を調査している。
【唐木田】：継続学習の解析は引き続き遂行し, より詳細な汎化誤差増減のサンプル数依存性の理解が統計力学的解析から得られている. また, 学習レジームの選択が学習力学に依存する可解モデルにおいて, 深層学習における勾配正則化の解析を進めてプレプリントと論文投稿を行った. 来年度の採択が期待される.
|
| Strategy for Future Research Activity |
【田中】：拡散モデルが今日では画像生成を始めとしたタスクで強力なパフォーマンスを示しているが、この手の確率的反復更新を用いた機械学習モデルは、反復される出力を「自己反省」プロセスと見ると、画像生成タスクに限るものではないと思われ、より広いタスクに使うことが期待される。今後は画像生成に限らずより広い応用先を見据えていく。
【瀧】：自然言語処理における研究の進展を受け、コンピュータビジョンにおいてもTransformerの重要性は増すばかりである。そこで引き続きTransformer/MetaFormerという先端的ビジョンモデルに焦点を絞り、視覚モデルの敵対的事例に関する研究を継続する。
【唐木田】：注意機構のあるボルツマンマシンの研究は今後の研究の方向性を広げるだろう. この研究は, 単層の注意機構と連想記憶モデル (Hopfieldモデル) の対応に着目し, その学習を与えた. 注意機構は深層モデルの重要な構成要素であり, より現実的なself-attention構造を反映した連想記憶あるいはボルツマンマシンの解明は統計力学的にも興味深い方向性だろう.
|
Report
(1 results)
Research Products
(14 results)
