| 研究課題/領域番号 |
20H04238
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 北海道大学 |
|---|
研究代表者 |
田中 章 北海道大学, 情報科学研究院, 教授 (20332471)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2025-03-31
|
| キーワード | 機械学習 / 再生核ヒルベルト空間 / モデル生成 / モデル選択 |
|---|
| 研究実績の概要 |
近年、機械学習分野で広く用いられている深層ニューラルネットワークは、数理的な背景が希薄であり、性能保証がないという問題点を有している。対して、再生核ヒルベルト空間論に基づく機械学習法は、その性能について一定の理論的保証があるものの、現実問題に適用した際の性能としては、深層ニューラルネットワークの後塵を拝しているという状況であった。一方、近年、Google の研究者によって、再生核ヒルベルト空間論に基づく機械学習の枠組みにおいて、初等関数では表現できないような複雑な再生核を用いることにより、ある種の確率構造の仮定の下、深層ニューラルネットワークと等価な学習が実現できることが明らかになった。このことは、これまで知られていなかった複雑な再生核を採用することにより、再生核ヒルベルト空間に基づく機械学習法の性能改善が期待できることを示唆する。
これを受けて、本研究課題では、再生核ヒルベルト空間論に基づく機械学習理論において、多種多様な再生核の族を生成する方法論を構築し、また、当該再生核の族の中から汎化性能の高い再生核を選択する新しい手法を開発することを目的としている。これらの実現によって、数理的に盤石な背景を有すると共に、汎化性能の高い機械学習の実現が期待できると考えられる。
今年度の目標は、再生核ヒルベルト空間論に基づく機械学習の枠組みにおいて、表現定理で規定される解空間(推定関数候補全体からなる集合)と所望未知関数の距離を直接評価するという新しい視点に基づくモデル選択法を開発することであり、実際に、当該モデル選択法の開発に成功した。当該結果は、これまで難しいとされてきた、外挿問題へも適用可能であるという特徴を有している。当該成果は、論文としてまとめ、投稿済である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
今年度は、新型コロナウイルス感染拡大の影響により、大学における講義・演習・学生実験等、ほとんど全ての教育活動についてオンライン化が求められる事態となった。その対応のため、講義動画の作成や、オンラインでの学生対応のシステム構築を余儀なくされ、結果として教育活動のエフォートが著しく増大し、特に年度当初から秋までの研究活動の進捗が滞ることとなった。
今年度は、再生核ヒルベルト空間論に基づく機械学習の枠組みにおいて、推定関数と所望未知関数の距離を直接評価するという新たな視点に基づくモデル選択法の開発を目標としていたが、実質的に、秋以降の活動開始となったため、年度末になってようやく開発を終えたという状況であった。当該成果については、論文としてまとめ投稿したものの、採否の結果は得られていない状況である。
|
| 今後の研究の推進方策 |
今年度の成果に関し投稿した論文の採否は確定していないものの、今年度の目標であるモデル選択法の開発は概ね達成できたため、来年度は予定通り、再生核ヒルベルト空間論に基づく機械学習法の性能改善のための、多種多様な再生核の族の構築を行う予定である。主要な論点は、(1)想定する再生核の族を実際に構成、(2)当該族に属する再生核に内包するパラメーターを(モデル選択のための最適化問題への適用を想定して)効率的に表現、(3)構成した再生核の族について、理論的な性質を解明、の三点である。(1)については、申請時に基本的なアイデアを有していたため、即座に実施することが可能である。一方、(3)については、非常に挑戦的なテーマとなるため、もし、進捗が滞るようであれば、翌年度以降に実施時期を後ろ倒しにする可能性もある。よって、次年度(2年目)の主要な活動は、(2)の論点となる。具体的には、提案する再生核の族に属する再生核を規定するパラメータ、具体的には二次形式に含まれる非負定値対象行列を、最適化への適用を想定して効率的に表現する方法論の開発に充当する。
|
