| 研究課題/領域番号 |
23K28117
|
|---|
| 補助金の研究課題番号 |
23H03427 (2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
小林 匠 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (30443188)
|
|---|
| 研究分担者 |
福井 和広 筑波大学, システム情報系, 教授 (40375423)
渡辺 顕司 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50571064)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2027-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
18,460千円 (直接経費: 14,200千円、間接経費: 4,260千円)
2026年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2025年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2024年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2023年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
|
|---|
| キーワード | 深層学習 / 特徴表現 / 回転摂動 / 部分空間 / 汎化性 / 摂動 |
|---|
| 研究開始時の研究の概要 |
AIによる自動認識では、大規模なパラメータで構成されるニューラルネットワークを画像等の入力パターンに適用することで、パターン特徴表現を学習的に獲得している。本研究では、特徴の幾何的・統計的観点から、パターン特徴の汎化能力向上に資する学習方法を構築する。特徴ベクトルに幾何変動を加えることで学習タスクにおける頑健性を改善し、識別器などを通した特徴の部分空間表現を解析することで様々なタスクへ展開し得る汎化性の向上が可能となる。そのような特徴の幾何的特性を統計的アプローチにより解析・定式化することによって新たな学習方式の理論基盤を創出し、実データを用いた評価実験を通してその有効性を検証する。
|
| 研究実績の概要 |
令和6年度は、特徴表現の汎化性・弁別性を向上させるため、以下の観点から研究を進めた。
前年度に取り組んだ回転摂動による深層学習の正則化法の性能評価を行った。当該手法は、深層モデルから得られる特徴表現の回転摂動を、実際にベクトルの幾何的回転操作を行うことなく識別部分空間内で統計的に記述することにより、疑似的な特徴摂動として学習時に実現する。様々な画像認識課題における深層学習に対して提案手法を適用したところ、学習モデルの識別性能が向上することを定量的に示すことができた。特にクラス分布が不均衡な学習状況での効果が高く、提案法が学習の正則化として有効に働くことが確認された。また、転移学習や距離学習といった様々な学習枠組みにおいても効果的な性能向上が得られた。
上記のように識別空間内での特徴表現を考える一方で、その直交補空間での表現も考慮することにより相補的に特徴表現全体を改善することができる。そこで、これまで陽に扱われることのなかった補空間内の特徴表現学習を促進させるための距離学習に基づく損失関数を開発した。これにより、識別部分空間内では通常の識別学習、識別補空間内では距離学習という異なる種類の学習の統合が可能となった。この統合学習により特徴表現全体の弁別性向上が期待できる。
さらに、部分空間の観点からTransformerモデルの特徴変換過程の解析にも着手した。この解析により、アテンションに基づく特徴変換と部分空間内でのMean-Shift法との高い類似性を明らかにした。Mean-Shift法は古典的なパターンクラスタリング法の一つであることから、Transformerは特徴パターンのクラスタリングを適応的・学習的に行っていると解釈することができる。この解析結果から、Mean-Shift法に則してTransformerモデルを改善する手法の開発も行った。
|
| 現在までの達成度 |
現在までの達成度
2: おおむね順調に進展している
理由
識別空間を軸として、統計・幾何学の両観点から特徴表現を解析し、手法や理論の定式化も進めることができた。
|
| 今後の研究の推進方策 |
摂動による正則化と部分空間表現との統合を進める。また、深層モデルの特徴表現や特徴抽出機能に対して、幾何的な部分空間の観点から解析を進めていく。
|
