| 研究課題/領域番号 |
22K17950
|
|---|
| 研究機関 | 九州大学 |
|---|
研究代表者 |
小西 卓哉 九州大学, マス・フォア・インダストリ研究所, 助教 (20760169)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 機械学習 |
|---|
| 研究実績の概要 |
近年陰関数微分が機械学習の様々な予測・最適化の問題に応用されている．しかし陰関数微分を伴う学習は勾配の計算に時間がかかり，扱う状況によって性能がばらつくことが問題になる．本研究ではこれらの課題を解決する効率的なアルゴリズムを開発し，実社会の問題へ応用することを検討している．
今年度は陰関数微分の高速化について検討し，特に深層平衡モデルと呼ばれるニューラルネットワークに着目した．深層平衡モデルは1つの層を再帰的に計算することで得られる平衡点を中間出力とするニューラルネットワークである．このモデルの学習に必要な平衡点に関する勾配は陰関数微分によって計算できる．そのため，他のニューラルネットワークと同様に学習できる一方，陰関数微分に伴う計算量が大きくなる点が課題になる．本研究では平衡点を求めるプロセスが離散的な力学系として解釈できることに着目して解析を行った．その結果，元のモデルをより学習しやすい別のモデルとして近似的に表現できることがわかった．得られたモデルは陰関数微分を経由することなく学習することが可能であり，計算効率の面で優位性がある．実際に数値実験を行ったところ，元のモデルと同程度の性能を保ちつつ，より高速に学習できることが実験的に確認できた．陰関数微分のアルゴリズムの高速化を目的として研究をスタートしたが，学習対象のモデルを近似することで陰関数微分を経由せずに計算できるという結果を得た．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
今年度得られた結果は当初の計画で想定していた問題や，高速化のためのアプローチとは異なるものの，陰関数微分を応用するアルゴリズムに関する知見となり最終的な研究目的に資するものだと考えている．ただ，現時点では着目したモデルでのみ成立する結果であるため，より一般的な状況における陰関数微分の高速化について検討の余地が残る．
|
| 今後の研究の推進方策 |
今年度に取り組んだ陰関数微分の高速化については引き続き検討を進めていく．また，安定的に学習する課題についても研究を始める予定である．また今年度の研究を通して最終的に解きたい問題に着目することも重要だと感じた．陰関数微分の効率化を引き続き検討しつつ，より広い視点で問題を解決することも検討していく．
|
| 次年度使用額が生じた理由 |
今年度に予定していた規模の数値実験を行わなかったため計算機の購入を見送った．来年度以降に必要に応じて計算機の購入や研究遂行に必要となる情報収集や対外発表のための予算に充てる予定である．
|
