機械学習のための再生核の生成と選択

• Project/Area Number: 23K20384
• Project/Area Number (Other): 20H04238 (2020-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2020-2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Hokkaido University
• Principal Investigator: 田中 章 北海道大学, 情報科学研究院, 教授 (20332471)
• Project Period (FY): 2020-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥10,790,000 (Direct Cost: ¥8,300,000、Indirect Cost: ¥2,490,000); Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000); Fiscal Year 2021: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: 機械学習 / 教師付き学習 / 再生核 / モデル選択 / 再生核ヒルベルト空間 / 教師付き機械学習 / モデル生成 / 最適化

Outline of Research at the Start

再生核、及び、再生核ヒルベルト空間に基づく機械学習の性能向上を目指すべく、以下の項目について研究を実施する。
1)再生核ヒルベルト空間を規定する写像、及び、写像の像空間の計量そのものをモデルとする再生核の族を構築する。
2)当該族に属する再生核に対応する再生核ヒルベルト空間について、その計量等の理論的な性質を明らかにする。
3)当該再生核の族から汎化性能の高い再生核を選択するモデル選択基準を開発する。
4)実用化に向け、計算量の削減法等を開発する。

Outline of Annual Research Achievements

本研究の目的は、多様かつ複雑な再生核の族の構成と、その機械学習問題へ展開である。
今年度は、申請段階で着想していた、再生核の構成要素とみなすことができる「特徴空間への写像」及び「当該写像の像空間における計量」そのものをパラメータとみなした再生核について理論的な解析を行った。その結果、以下の成果を得た。
(1) 当該再生核に一意に対応する再生核ヒルベルト空間の性質、具体的には、再生核ヒルベルト空間の内積がどのようなものになるか解明した。
(2) 機械学習問題への展開を想定した際に重要となる汎化性能に関する解析の足掛かりとして、当該再生核ヒルベルト空間において標本化定理が成立するための必要十分条件を明らかにした。これは、機械学習の枠組みでは、訓練データから未知関数を完全再構成できるための必要十分条件に対応する。併せて、標本化定理が成立する場合は、特徴空間の計量は、再生核に基づく学習機械の性能に影響を与えないこと、及び、その機序を理論的に明らかにした。
(3) 初年度に開発したモデル選択基準により、当該再生核の族から汎化性能の高い再生核を選択することを念頭に、理論的な解析を行った。その結果、モデル選択(特に、写像の像空間の計量の選択)が意味をなす状況、すなわち完全再構成不可能な場合については、当該モデル選択基準が有効に機能するための十分条件を満足し得ないことを明らかにした。このことは、モデル選択について再考を要することを意味する。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究実績の概要でも述べたとおり、「特徴空間への写像」及び「当該写像の像空間における計量」そのものをパラメーターとみなした再生核の族において、初年度に開発したモデル選択基準が有効に機能し得ないことが判明した。よって、モデル選択について再考を要する状況である。これに対して、従前のクロスバリデーションの選択基準などを用いた場合についても解析を行ったが、局所最適解の問題等を回避するに至らず、別の方策が必要となっている状況である。よって、この点に関しては進捗は遅れていると言わざるを得ない。
一方、当初、達成が難しいと考えていた、当該再生核に一意に対応する再生核ヒルベルト空間の理論的な性質を解明できたことは顕著な進捗であると考える。以上を総合して「やや遅れている」との自己評価とした。

Strategy for Future Research Activity

現状、残る課題は、
(1) 提案する再生核の族(「特徴空間への写像」及び「当該写像の像空間の計量」をパラメーターとする再生核の族)に対するモデル選択基準に関する再考
(2) 大規模な実問題への適用を想定した、軽量なアルゴリズムの開発
の二点である。
前者については、クロスバリデーションの選択基準を最適化基準とした際に問題となる局所最適解の問題を、当該基準に含まれる複雑な関数(具体的にはグラム行列の逆行列)を新たなパラメーターとみなすことで回避できないか探求する予定である。後者については、ベクトル値関数からなる再生核ヒルベルト空間や、複数の学習済みニューラルワークを写像として利用する再生核などを新たな道具立てとして利用することで推進する予定である。

Research Products

• [Journal Article] Kernel-Induced Sampling Theorem for A Class of Mapping-Prescribed Reproducing Kernel Hilbert Spaces (2024)
  • Author(s): Akira Tanaka
  • Journal Title: IEICE Technical Report Volume: SIP2023-126 Pages: 109-114
• [Journal Article] Minimum upper bound of the Cayley transform of an orthogonal matrix multiplied by signed permutation matrices (2023)
  • Author(s): Mitamura Takuma, Tanaka Akira
  • Journal Title: Linear Algebra and its Applications Volume: 659 Pages: 24-32
  • DOI: 10.1016/j.laa.2022.11.009
  • Peer Reviewed
• [Journal Article] Kernel-Based Regressors Equivalent to Stochastic Affine Estimators (2022)
  • Author(s): TANAKA Akira、NAKAMURA Masanari、IMAI Hideyuki
  • Journal Title: IEICE Transactions on Information and Systems Volume: E105.D Issue: 1 Pages: 116-122
  • DOI: 10.1587/transinf.2021EDP7156
  • NAID: 130008138820
  • ISSN: 0916-8532, 1745-1361
  • Year and Date: 2022-01-01
  • Peer Reviewed / Open Access
• [Journal Article] 歪対称行列のCayley変換により生成される直交行列集合の性質 (2022)
  • Author(s): 三田村 拓磨, 田中 章
  • Journal Title: 電子情報通信学会論文誌A Volume: J105-A Pages: 125-135
  • Peer Reviewed
• [Presentation] Model Selection of Kernel Ridge Regression for Extrapolation (2021)
  • Author(s): Tanaka Akira、Nakamura Masanari、Imai Hideyuki
  • Organizer: 2021 IEEE 31st International Workshop on Machine Learning for Signal Processing (MLSP)
  • Int'l Joint Research
• [Presentation] KERNEL RIDGE REGRESSION WITH AUTOCORRELATION PRIOR: OPTIMAL MODEL AND CROSS-VALIDATION (2020)
  • Author(s): Akira Tanaka, Hideyuki Imai
  • Organizer: 2020 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP2020)
  • Int'l Joint Research