| Project/Area Number |
23K28117
|
|---|
| Project/Area Number (Other) |
23H03427 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
小林 匠 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
福井 和広 筑波大学, システム情報系, 教授 (40375423)
渡辺 顕司 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50571064)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000)
Fiscal Year 2026: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2025: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
|
|---|
| Keywords | 深層学習 / 汎化性 / 回転摂動 / 部分空間 / 摂動 |
|---|
| Outline of Research at the Start |
AIによる自動認識では、大規模なパラメータで構成されるニューラルネットワークを画像等の入力パターンに適用することで、パターン特徴表現を学習的に獲得している。本研究では、特徴の幾何的・統計的観点から、パターン特徴の汎化能力向上に資する学習方法を構築する。特徴ベクトルに幾何変動を加えることで学習タスクにおける頑健性を改善し、識別器などを通した特徴の部分空間表現を解析することで様々なタスクへ展開し得る汎化性の向上が可能となる。そのような特徴の幾何的特性を統計的アプローチにより解析・定式化することによって新たな学習方式の理論基盤を創出し、実データを用いた評価実験を通してその有効性を検証する。
|
| Outline of Annual Research Achievements |
令和５年度は、特徴表現の汎化性を向上させるため、以下の２つの観点から研究を進めた。
深層モデルの学習時（深層学習）において、得られる特徴表現へ人工的に摂動を加えることで汎化性を高めることができる。ここではそのような幾何的な摂動としてベクトル回転に着目し、特徴ベクトルに対する回転摂動の理論基盤の構築を進めた。一般に数百から数千次元の高次元空間内のベクトルとして表現されるパターン特徴に対して、直接的に回転摂動を加えることは、計算量の観点から実際的とは言えない。そこで、回転摂動を最終的な識別（部分）空間内で効率的に記述する方法を構築した。これにより、特徴ベクトルに対して自然な仮定を置くことで、回転摂動を正規分布に基づく統計的変動として記述することが可能となり、計算効率の良い摂動として深層学習に貢献することが期待できる。
上記のように識別空間内での特徴表現を考える一方で、その直交補空間での表現も考えることで、相補的に特徴表現全体の改善につながる。そこで、補空間内の特徴の解析も進めたところ、未知データに対する特徴の弁別度合いに関して識別部分空間とその補空間では大きな隔たりがあることを確かめた。この結果は識別補空間において特徴表現を改善する余地が大きいことを示唆している。またさらに、特徴ベクトルのなす部分空間に関しても解析を行なった。具体的には、異なるドメインから抽出された特徴部分空間がどのように遷移するかをグラスマン多様体上で解析した。これにより、異なるドメインへの転移性・汎化性を高めることができる学習法を部分空間の観点から開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
識別空間を軸として、統計・幾何学の両観点から特徴表現を解析し、手法や理論の定式化も進めることができた。
|
| Strategy for Future Research Activity |
特徴摂動を統計に表現するための定式化を更に進め、画像認識実験等を通してその有効性を確かめていき、幾何的な部分空間表現に関しても実データを用いた解析を進めていく。
|
