適応的事前確率モデルに基づく特徴表現学習に関する研究

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K11900
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 小林 匠 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ニューラルネットワーク / 適応的確率モデル / 正規分布

Outline of Annual Research Achievements

令和２年度は、ニューラルネットワーク（NN）パラメータの適応的確率モデルとして正規分布に着目して研究を進めた。本研究での適応的確率モデルとは、NNパラメータを生み出すメタな確率モデルとして定義され、本年度は特に入力データに即して適応的に変動する正規分布モデルを考えた。正規分布モデルは、平均・分散という２種のハイパーパラメータにより特徴づけられるため、入力データへの適応性はそれら２種のハイパーパラメータに埋め込むことが可能となる。ここでは、従来より行われている入力データ自体をモデル化・近似する正規分布ではなく、NNパラメータの背後に存在するメタな正規分布のハイパーパラメータを適応的に推定することが重要となる。より具体的には、入力データからメタ正規分布モデルのハイパーパラメータを推定するメタ推定器（メタNN）を別途用意し、認識システムを担うコアNNと同時に学習する枠組みとして定式化される。コアNNのモデルパラメータは適応的なメタ正規分布モデルからサンプリングされるが、一般にはそのようなサンプリング操作により学習、つまり誤差逆伝播法の適用が困難となる。そこで本研究では、標準正規乱数を利用することで微分可能な正規分布からのサンプリング手法を定式化した。これにより提案方式では、コアNNとメタNNの全てのニューラルネットワークパラメータに対して誤差逆伝播法を適用して同時最適化が可能となっていることに大きな特色がある。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画通り、適応的確率モデルを導入したニューラルネットワークの定式化に関する研究を進めた。

Strategy for Future Research Activity

ニューラルネットを構成するプーリング層や畳込み層に適応的確率モデルを導入し、性能評価実験を進める。

Causes of Carryover

理由：本年度に発売された高額なGPGPUボードを、次年度に複数枚購入するため。
計画：大規模データを高速に処理可能なGPGPUボードを購入する予定である。