| 研究課題/領域番号 |
20K11900
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
小林 匠 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30443188)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | ニューラルネットワーク / 適応的確率モデル / 正規分布 |
|---|
| 研究実績の概要 |
令和２年度は、ニューラルネットワーク（NN）パラメータの適応的確率モデルとして正規分布に着目して研究を進めた。本研究での適応的確率モデルとは、NNパラメータを生み出すメタな確率モデルとして定義され、本年度は特に入力データに即して適応的に変動する正規分布モデルを考えた。正規分布モデルは、平均・分散という２種のハイパーパラメータにより特徴づけられるため、入力データへの適応性はそれら２種のハイパーパラメータに埋め込むことが可能となる。ここでは、従来より行われている入力データ自体をモデル化・近似する正規分布ではなく、NNパラメータの背後に存在するメタな正規分布のハイパーパラメータを適応的に推定することが重要となる。より具体的には、入力データからメタ正規分布モデルのハイパーパラメータを推定するメタ推定器（メタNN）を別途用意し、認識システムを担うコアNNと同時に学習する枠組みとして定式化される。コアNNのモデルパラメータは適応的なメタ正規分布モデルからサンプリングされるが、一般にはそのようなサンプリング操作により学習、つまり誤差逆伝播法の適用が困難となる。そこで本研究では、標準正規乱数を利用することで微分可能な正規分布からのサンプリング手法を定式化した。これにより提案方式では、コアNNとメタNNの全てのニューラルネットワークパラメータに対して誤差逆伝播法を適用して同時最適化が可能となっていることに大きな特色がある。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の計画通り、適応的確率モデルを導入したニューラルネットワークの定式化に関する研究を進めた。
|
| 今後の研究の推進方策 |
ニューラルネットを構成するプーリング層や畳込み層に適応的確率モデルを導入し、性能評価実験を進める。
|
| 次年度使用額が生じた理由 |
理由：本年度に発売された高額なGPGPUボードを、次年度に複数枚購入するため。
計画：大規模データを高速に処理可能なGPGPUボードを購入する予定である。
|
