2022 Fiscal Year Annual Research Report
適応的事前確率モデルに基づく特徴表現学習に関する研究
| Project/Area Number |
20K11900
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
小林 匠 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ニューラルネットワーク / 線形識別ベクトル / ベクトル回転 |
|---|
| Outline of Annual Research Achievements |
令和4年度は、ニューラルネットワークの最終識別層で適用されるFully-connected （FC）フィルタに着目して研究を進めた。FCフィルタは、ニューラルネットワークから出力される特徴ベクトルを線形識別するための識別ベクトルとして定式化されている。ここでは、識別ベクトルに事前分布を導入し、深層学習に組み込む手法を提案した。識別層で適用する識別ベクトルを事前分布から確率的にサンプリングすることで、線形識別層に確率的変動を導入でき、そのような変動に対して頑健となるよう学習することでモデルの汎化性能向上が期待できる。また、識別ベクトルへの変動は双対的に特徴ベクトルに対する変動とみなすこともできるため、提案法は従来のDropOut等のネットワーク正則化手法の新たな表現と見なすこともできる。識別ベクトルではそのベクトル方向が主要な情報であることから、事前分布として平均識別ベクトル周りでの角度θの一様な回転分布を考えた。学習では平均識別ベクトルが最適化対象となる。この事前分布からのサンプリングは平均識別ベクトルを角度θだけランダムに回転させることで算出できるが、一般に高次元の識別ベクトル空間での回転操作は高計算コストを要し、学習の計算効率を低下させてしまう。そこで、サンプリングにかかる計算コストを大幅に削減する、新たな統計分布による表現を定式化した。ランダムに回転した識別ベクトルと特徴ベクトルが成す内積はベータ分布に従うことから、幾何学的な回転操作を不要としたサンプリング手法を提案した。これにより、計算コストを増加させることなく確率的変動を学習に埋め込むことができた。
本研究期間全体を通して、ニューラルネットワークの畳み込み層、プーリング層やFC識別層に対して事前分布を導入した新たな表現体系を構築することができた。これにより、頑健なモデル学習が可能となる。
|
