2022 Fiscal Year Annual Research Report
不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓
| Project/Area Number |
21J20357
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
平山 侑樹 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | ベイズ深層学習 / ニューラルネットワーク / 非線形関数 / モーメント伝播 |
|---|
| Outline of Annual Research Achievements |
本研究では信頼できるAI技術の実現を目指し、ハードウェア・アルゴリズム双方の観点から、高効率なベイズ深層学習の実現を目的としている。ベイズ深層学習は不確実性を考慮した予測を可能とするため、医療診断、自動運転など安全性が重視されるアプリケーションでの活用が期待される。しかし、ベイズ深層学習では予測において確率分布からのサンプリングを要するため、深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ベイズ深層学習の高速化・高効率化に取り組んでいる。当該年度では、高速なモーメントの計算を可能とする非線形関数と、大規模モデルにおいてモーメント伝播を可能とする方法論についての研究を行った。ReLUやSigmoidなどの従来の非線形関数の出力の統計量を計算するためには、テイラー展開を必要とするため計算量が増加してしまう。そこで本研究では、入力の統計量について非線形性を導入する、モーメント伝播に適した非線形関数を提案した。これにより、従来の非線形関数を用いた手法と比べ、最大で1.6倍高速な計算を可能としている。また、これまでは活性の分散が大きくなってしまうことから、モーメント伝播の適用が難しかった大規模なモデルに対して、確率変数に拡張したバッチ正規化層を導入することで、モーメント伝播による高速な推論を可能とした。様々な変分分布においてその有効性について検討し、従来のサンプリングによるベイズ深層学習と比べ、3.4-5.3倍高速な推論を可能とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度では、ベイズ深層学習のアルゴリズムの観点から高速化・高効率化に取り組んだ。入力の統計量について非線形変換を加えることで、出力の統計量を解析的に計算することを可能とした非線形関数について提案している。これにより、テイラー展開を必要とした従来の非線形関数と比べ、最大で1.6倍の高速化を実現している。さらに、確率変数へと拡張したバッチ正規化を導入することにより、畳み込みニューラルネットワークにおいてモーメント伝播による高速な推論を可能とし、従来のサンプリングによる手法と比べ、3.4-5.3倍の高速化を達成している。これらの点を鑑みて、本研究課題についておおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
前年度まで研究を行なったベイズ深層学習のモーメント伝播のアルゴリズムを実行する専用回路についての研究を行う。FPGAを用いたベイズ深層学習アクセラレータの設計、および実装を行い、高速・高効率に不確実性の表現を可能とするベイズ深層学習の実現を目指す。 前年度までの研究において、モーメント伝播による推論手法について検討し、正規分布、ベルヌーイ分布などのさまざまな変分分布のもと、従来手法のサンプリングによる手法と同程度の不確実性表現を高速に計算できることを明らかにした。さらに、バッチ正規化層の確率変数への拡張を通して、より大規模なネットワークモデルへのモーメント伝播の適用を可能とした。この研究により、従来手法よりも高速なベイズ深層学習の推論が可能となった。その一方、サンプリングベースの従来手法と異なり、モーメント伝播では、活性値のモーメントの計算を必要とするため、従来の手法とデータの再利用性や計算の並列性が異なる。そのため、これまでの深層学習アクセラレータによってモーメント伝播を効率よく実行することは難しい。そこ今後の研究では、高効率・高速なベイズ深層学習の実現に向け、モーメント伝播に適した演算回路アーキテクチャを創出する。
|
