2021 Fiscal Year Research-status Report
ランダム深層ニューラルネットの数理的基盤の構築とその学習への応用
| Project/Area Number |
19K20366
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
唐木田 亮 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30803902)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 統計力学 / ニューラルネットワーク / 機械学習 / 数理工学 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は, 深層学習の数理的基盤となる枠組みを, ランダム結合をもつニューラル ネットワークの解析に基づいて構成することである. 研究実施計画3年度目である本年度は, 課題1のパラメータ空間や入力空間の構造に関する理論解析において重点的な進捗が見られ, 課題2の学習手法の開発においては予備的な知見が得られた. 具体的には, パラメータ空間の幾何学的な構造を決めるFisher情報行列の性質を, クロスエントロピー損失関数に対応した確率モデルで解析し, 国際英文雑誌に投稿・採択された. これまで理論的な見通しのよい最小二乗損失での解析が多く行われてきたが, 実問題で広く使用されているクロスエントロピーを用いた識別問題においても, 外れ固有値やそれを抑えるモデル正規化の効果が現れることを定量的に明らかにした. また, Fisher情報行列はパラメータ空間の計量であるが, 同様の性質は入力空間の計量においても現れることを明らかにし, 入力の摂動に対するモデルの頑健性を議論するための基盤を提供した. さらに, 自由確率論を利用し, ある種の条件付きFisher情報行列において, 固有値の低次モーメントだけでなく分布まで解析できることを明らかにし, さらにその最大固有値から勾配法が収束に向かうために必要な学習率の大きさが推測できることを実験的に明らかにした. これは国際会議における採択・発表の成果となった.
また, 深層モデルにおける効率的なdata augmentationサンプルの選択に関する共同研究を行い, 国際英文雑誌に投稿・採択された. これは次年度に入力空間における摂動・変化が与える影響をこれまで得られた数理的知見で解析, あるいは, その知見で恣意性を排除した効率的な学習法を提案するうえでベンチマークとして機能することが期待される.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は昨年度までに得られた課題1の数理的な知見をより深く掘り下げる成果が得られたといえる. 特に自由確率論(ランダム行列理論)により固有値分布の解析は, 昨年度まで解析を実施してきた分布の低次モーメントを超えて分布形状を調べることを可能にするため, モデル構造やパラメータ設定によって学習がどれだけ困難になるかという問題, それを克服するにはどのように学習手法を改良する必要があるかという問題, をより精緻に議論する土台ができたといえ, 順調な進展といえる. 一方で, 課題(1-3)の記憶埋め込み型のモデルについては共同研究が進行中ではあるが成果としては本年度中に報告できなかったため, 全体としてはおおむね順調に進行しているといえる.
|
| Strategy for Future Research Activity |
課題1については現在も共同研究が進行中の課題(1-3)を成果として報告することが次年度の課題である. 課題2の学習手法開発においては, Gausssian Processへの応用が多くの関連研究によってすでに推進されているため, 本研究課題で解決すべき問題が少ないといえる. そのため課題(2-2)の勾配法の改良, あるいは, 本年度であればdata augmentationの研究を実施したように未解決の問題, 特に恣意性が高い学習手法を対象に研究を推進する必要がある. たとえば, 近年の深層学習では転移学習やメタ学習, 継続学習のように多段階の恣意性の残った学習プロセスを用いることが多く, こうした学習の普遍的な挙動をランダム神経回路の枠組みで検討する予定である.
|
| Causes of Carryover |
計画当初は海外研究会参加や研究機関滞在を予定していたが, コロナ禍の影響でオンライン開催あるいは延期となったため, 未使用の旅費を次年度使用とする. これは海外参加・滞在が可能となった時点で次年度に使用する. あるいは, 昨年度に引き続き困難な場合は計算機実験を増強し, クラウド計算機への使用を検討する.
|
