| 研究課題/領域番号 |
23H03427
|
|---|
| 配分区分 | 補助金 |
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
小林 匠 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
|
|---|
| 研究分担者 |
福井 和広 筑波大学, システム情報系, 教授 (40375423)
渡辺 顕司 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50571064)
|
|---|
| 研究期間 (年度) |
2023-04-01 – 2027-03-31
|
| キーワード | 深層学習 / 汎化性 / 摂動 / 部分空間 |
|---|
| 研究実績の概要 |
令和５年度は、特徴表現の汎化性を向上させるため、以下の２つの観点から研究を進めた。
深層モデルの学習時（深層学習）において、得られる特徴表現へ人工的に摂動を加えることで汎化性を高めることができる。ここではそのような幾何的な摂動としてベクトル回転に着目し、特徴ベクトルに対する回転摂動の理論基盤の構築を進めた。一般に数百から数千次元の高次元空間内のベクトルとして表現されるパターン特徴に対して、直接的に回転摂動を加えることは、計算量の観点から実際的とは言えない。そこで、回転摂動を最終的な識別（部分）空間内で効率的に記述する方法を構築した。これにより、特徴ベクトルに対して自然な仮定を置くことで、回転摂動を正規分布に基づく統計的変動として記述することが可能となり、計算効率の良い摂動として深層学習に貢献することが期待できる。
上記のように識別空間内での特徴表現を考える一方で、その直交補空間での表現も考えることで、相補的に特徴表現全体の改善につながる。そこで、補空間内の特徴の解析も進めたところ、未知データに対する特徴の弁別度合いに関して識別部分空間とその補空間では大きな隔たりがあることを確かめた。この結果は識別補空間において特徴表現を改善する余地が大きいことを示唆している。またさらに、特徴ベクトルのなす部分空間に関しても解析を行なった。具体的には、異なるドメインから抽出された特徴部分空間がどのように遷移するかをグラスマン多様体上で解析した。これにより、異なるドメインへの転移性・汎化性を高めることができる学習法を部分空間の観点から開発した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
識別空間を軸として、統計・幾何学の両観点から特徴表現を解析し、手法や理論の定式化も進めることができた。
|
| 今後の研究の推進方策 |
特徴摂動を統計に表現するための定式化を更に進め、画像認識実験等を通してその有効性を確かめていき、幾何的な部分空間表現に関しても実データを用いた解析を進めていく。
|
