2021 Fiscal Year Annual Research Report
Study of Knowledge Transfer between Linear Models and Deep Neural Networks
| Project/Area Number |
21J11146
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
鈴木 藍雅 筑波大学, システム情報工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | 統計的機械学習 / 人工知能 / ニューラルネットワーク / 深層学習 |
|---|
| Outline of Annual Research Achievements |
当該研究課題について2021年度においては、目的とする古典数理モデルから深層学習モデルへの知識転移理論の構築に必要な、種々のモデル間の類似点の洗い出しを行うともに、具体的な知識転移を行うために必要な条件などについて、その理論的な考察を行った。
主に多くのニューラルネットワークモデルで用いられるAffine層と呼ばれる構造について、その入出力の伝播規則と線形統計モデルとの類似性の考察を行い、目的とする機械学習タスクごとに知識転移可能なニューラルネットワークの構造と線形統計モデルとの対応付けを行った。またこれらの対応付けをもとに、学習パラメータの初期値やニューラルネットワークの構造・メタパラメータという、学習の進行のために重要な人力での調整が難しいパラメータの最適化としての知識転移の具体的な方法を構築し、その有効性を検証することに成功した。
また、これらの対応付けおよび具体的な知識転移手法の構築のために、機械学習モデル間の相互作用を記述するための理論的枠組みの構築を行った。ここでは代数学に基づく統計的機械学習の数学的定式化を行い、本定式化の下で知識転移が可能な古典数理モデルと深層学習モデルの洗い出し、および代数学的な概念を用いて、モデル間の知識転移という概念を記述することができることを確認した。本定式化によって、複雑で多様なモデル間の知識転移の様相を単一の枠組みのもとで統一的に記述し、その解釈性を高めることができる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の進行は年次計画に照らして概ね順調に進展している。当初計画していた初年度における目標である、知識転移理論の構築のためのモデル間対応の洗い出し作業はおよそ完了し、更にそれらを統一的に解釈するための理論的枠組みの構築に成功したことは当初の計画を上回る成果が得られたといえる。一方でこれらの成果についての論文等における成果公表については、進捗と照らして十全に進行しているとは言えないことから研究成果の論文化などについては今後進行させてゆきたい。
|
| Strategy for Future Research Activity |
年次計画に照らして、2022年度においては構築した知識転移理論のより一層の改良を行うと共に、実世界の問題に対して知識転移に基づく問題解決を行い、実用に際する問題点の洗い出しおよびその改善を行う。本手法はとくに通常の方策による深層学習モデルの学習が困難な十分な数のデータ収集が困難なタスクにおいて有効に用いることができると予想され、こうした課題として医用画像などデータ収集にかかる人的コストの大きな応用領域にフォーカスを当て、その適用を目指す。並行して、理論・応用両面における得られた成果の論文化を積極的に進めてゆきたい。
|
