2023 Fiscal Year Annual Research Report
| Project/Area Number |
20H04238
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
田中 章 北海道大学, 情報科学研究院, 教授 (20332471)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 機械学習 / 教師付き学習 / 再生核 / 再生核ヒルベルト空間 / モデル選択 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、多様かつ複雑な再生核の族の構成と、その機械学習問題へ展開である。
今年度は、申請段階で着想していた、再生核の構成要素とみなすことができる「特徴空間への写像」及び「当該写像の像空間における計量」そのものをパラメータとみなした再生核について理論的な解析を行った。その結果、以下の成果を得た。
(1) 当該再生核に一意に対応する再生核ヒルベルト空間の性質、具体的には、再生核ヒルベルト空間の内積がどのようなものになるか解明した。
(2) 機械学習問題への展開を想定した際に重要となる汎化性能に関する解析の足掛かりとして、当該再生核ヒルベルト空間において標本化定理が成立するための必要十分条件を明らかにした。これは、機械学習の枠組みでは、訓練データから未知関数を完全再構成できるための必要十分条件に対応する。併せて、標本化定理が成立する場合は、特徴空間の計量は、再生核に基づく学習機械の性能に影響を与えないこと、及び、その機序を理論的に明らかにした。
(3) 初年度に開発したモデル選択基準により、当該再生核の族から汎化性能の高い再生核を選択することを念頭に、理論的な解析を行った。その結果、モデル選択(特に、写像の像空間の計量の選択)が意味をなす状況、すなわち完全再構成不可能な場合については、当該モデル選択基準が有効に機能するための十分条件を満足し得ないことを明らかにした。このことは、モデル選択について再考を要することを意味する。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究実績の概要でも述べたとおり、「特徴空間への写像」及び「当該写像の像空間における計量」そのものをパラメーターとみなした再生核の族において、初年度に開発したモデル選択基準が有効に機能し得ないことが判明した。よって、モデル選択について再考を要する状況である。これに対して、従前のクロスバリデーションの選択基準などを用いた場合についても解析を行ったが、局所最適解の問題等を回避するに至らず、別の方策が必要となっている状況である。よって、この点に関しては進捗は遅れていると言わざるを得ない。
一方、当初、達成が難しいと考えていた、当該再生核に一意に対応する再生核ヒルベルト空間の理論的な性質を解明できたことは顕著な進捗であると考える。以上を総合して「やや遅れている」との自己評価とした。
|
| Strategy for Future Research Activity |
現状、残る課題は、
(1) 提案する再生核の族(「特徴空間への写像」及び「当該写像の像空間の計量」をパラメーターとする再生核の族)に対するモデル選択基準に関する再考
(2) 大規模な実問題への適用を想定した、軽量なアルゴリズムの開発
の二点である。
前者については、クロスバリデーションの選択基準を最適化基準とした際に問題となる局所最適解の問題を、当該基準に含まれる複雑な関数(具体的にはグラム行列の逆行列)を新たなパラメーターとみなすことで回避できないか探求する予定である。後者については、ベクトル値関数からなる再生核ヒルベルト空間や、複数の学習済みニューラルワークを写像として利用する再生核などを新たな道具立てとして利用することで推進する予定である。
|
