| 研究課題/領域番号 |
19K20366
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
唐木田 亮 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30803902)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| 研究課題ステータス |
完了 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2019年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
|---|
| キーワード | 深層学習 / 機械学習 / ニューラルネットワーク / 統計力学 / ランダム行列 / 数理工学 / 統計力学的解析 / レプリカ法 / 継続学習 |
|---|
| 研究開始時の研究の概要 |
深層モデルは高次元の非線形変換を繰り返すため, そのままでは数学的な取り扱いが困難で, 動作原理はブラックボックスである. この問題に対し, ランダム結合パラメータを持つモデルでは複雑な動作を粗視化し, 少数次元の理論式に縮約できるため, この困難を克服できると期待される. また, 粗視化によって, モデルや学習の設定の詳細に依存しない普遍的な数理的基礎付けが実現できると考えられる. 本研究では, まず, モデルの学習のしやすさや汎化性能に関係した幾何構造を解析し, 深層モデルの情報処理原理の解明を目指す. 次に, 構築された理論に基づき, 学習手法への応用を行う.
|
| 研究成果の概要 |
本研究の目的は, ランダム結合をもつニューラルネットワークの解析に基づいて, 深層学習に有用な数理的知見を獲得することである. この目的を目指して, まずパラメータ空間の幾何学的構造を定めるFisher情報行列の固有値を解析した. これにより, 正規化層の効果や学習率の適切な設定に関して定量的な説明を与えた. さらにランダム神経回路まわりの摂動範囲での学習として特徴づけられるNTKレジームでは, 自然勾配法の適切な近似を明らかにした. また記憶埋め込み型の連想記憶モデルに関連して, VAEにおける記憶想起過程やModern Hopfieldネットに対応するボルツマンマシンを解明にした.
|
| 研究成果の学術的意義や社会的意義 |
ランダム神経回路は古典的に理論的神経科学の枠組みで発展してきたが, 近年は深層学習にその枠組みを拡張し, たとえば逆誤差伝播における解析が進みつつある. 本研究課題もこの流れに沿うもので, 特に, 学習のプロセスに大きく影響を与えるFisher情報行列やNTK行列に着目し, 各種モデルや学習手法の性質を明らかにした点に独自性があり学術的意義がある. 本成果は様々な応用を支える基礎技術に理解を与えており, 今後の深層学習技術の研究開発を進めるうえで有用となることが期待でき, その点で社会的意義もあるといえるだろう.
|
