| 研究課題/領域番号 |
20K23341
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
計良 宥志 東京大学, 大学院情報理工学系研究科, 特任研究員 (00887705)
|
|---|
| 研究期間 (年度) |
2020-09-11 – 2022-03-31
|
| キーワード | 深層学習 / 計算代数幾何 |
|---|
| 研究実績の概要 |
Deep Neural Networks に代表される深層学習モデルは現代の新たな学習モデルであり，様々な応用で目覚ましい成果を上げている．この様なモデルは入力に対し繰り返し線形演算と非線形演算を適用する形で構成され，非常に表現能力が高い．しかし，なぜ，そしてどのくらい表現能力が高いのか，この複雑なモデルをなぜ効率よく最適化できるのかなど，様々な理論的性質が未だ明らかになっていない．本研究では，計算代数幾何という新たな視点でこれらの解明に取り組む．
本年は計算代数幾何と深層学習の関係に関して様々な調査を行いその接続点を検討していた．特に，深層学習の表現能力理解の点において，理論的モデルが区分線形関数等価であることが示されており，近年それが区分線形関数を扱う計算代数幾何（トロピカル代数幾何）を応用することで解析されていることを突き止めた．またその調査を踏まえ，計算代数幾何に基づいた深層学習モデルを設計中である．深層学習ではパラメタ領域における勾配の計算が中心となるが，本研究の基礎となる消失イデアルの計算ではこれまでデータ領域（入力領域）における勾配の計算が中心であった．しかしこの計算も通常の深層学習とは逆向きであるが，階層構造を活用することで効率的な計算が実現されている．これに基づき，消失イデアルのモデルの深層計算でもパラメタ領域における勾配計算が可能であることを示すことができた．これは実装実験においても確認済みである．これを利用することで，計算代数幾何に基づいた深層学習が可能になると考えている．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
計算代数幾何に基づいた深層学習モデルの設計に必要となる勾配計算の方法を開発した．具体的には深層学習ではパラメタ領域における勾配の計算が中心となるが，本研究の基礎となる消失イデアルの計算ではこれまでデータ領域（入力領域）における勾配の計算が中心であった．しかし，消失イデアルの計算でもパラメタ領域における勾配計算が可能であることを示すことができている．現在はそれを用いて実際に分類実験などを行ない，既存の方法と比較しての優位性を確認中である．
|
| 今後の研究の推進方策 |
効率的な勾配計算が可能であることを示したので，それを利用し実証実験を行う．またその表現能力を計算代数幾何的な観点で評価する．調査によりトロピカル計算代数幾何による解析が存在することが分かったので，その方法論や結果も利用することができればより興味深い結果が得られると考えている．
|
| 次年度使用額が生じた理由 |
COVID-19の影響により，国際会議がオンラインになり出張が亡くなったため．また研究の遅れにより英文構成などの費用が発生していないため．
|
