2021 Fiscal Year Annual Research Report
不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓
| Project/Area Number |
21J20357
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
平山 侑樹 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | ベイズ深層学習 / 決定論的変分推論 / 畳み込みニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では、不確実性の定量的評価を可能とする機械学習技術の一つであるベイズ深層学習のハードウェア、アルゴリズムの協調設計による高効率な実現を目的としている。ベイズ深層学習の推論手法として決定論的変分推論が知られている。これはネットワークの中間層の出力の確率変数のモーメントを伝播することで出力の確率分布を計算する手法である。令和3年度の研究では決定論的変分推論に基づくベイズ深層学習の計算量、およびモデルを構築する上で必要となるパラメータ数の削減に関する研究を行った。第一に決定論的変分推論において、モデル構造の不確実性を表現するための確率分布としてベルヌーイ分布を採用し、活性の平均、共分散行列を陽に計算する手法を提案した。これにより、従来のガウス分布を仮定する場合と比べ、必要となるパラメータ数、モーメント計算に必要となる計算量を削減することができる。第二に畳み込み演算の特性により生じる中間層の出力の共分散行列の構造に着目し、これを利用することで共分散行列を近似するベイズ畳み込みニューラルネットワークの推論手法を提案した。決定論的変分推論では、中間層の出力である3階のテンソルの共分散行列を計算する必要があるが、これを現在提案されている大規模な畳み込みニューラルネットワークで計算するのは現実的でない。この大規模な共分散行列を計算する必要があるという決定論的変分推論の欠点を解消すべく、畳み込み演算の特性を活かし、空間方向に隣接する要素との共分散を取り出すことで必要となる共分散を削減した。提案手法によって共分散行列の構造を抽出することで、およそ7%程度の要素のみを考慮することで共分散行列を再現できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和3年度の研究計画では、アルゴリズムの観点からのベイズ深層学習の高効率な実現を目標としていた。当該年度において、ベルヌーイ分布による摂動を考えることでパラメータ数、計算量の削減を図る手法について提案した。さらに空間方向に隣接する要素を考慮する近似によって層ごとの出力の共分散行列を近似する手法を提案した。これらの提案により、確率分布を仮定することによるモデル全体のパラメータ数の増加を抑えることができ、またモーメントの計算に必要となる計算量を削減することが可能となる。以上から、当該年度の目標であった、ベイズ深層学習の推論において必要となる計算量の低減を達成することができたといえる。
|
| Strategy for Future Research Activity |
令和3年度の研究では、モデルの中間出力の空間方向における相関に着目し、共分散行列の近似を実現したが、中間出力の共分散行列のうち、チャネル方向の寄与も無視できない。そのため、共分散行列の空間方向、チャネル方向の統合的な近似について検討する必要がある。次年度において、チャネル方向、空間方向における共分散行列の近似手法について検討し、より効果的に共分散行列において必要となる計算量を低下させることを目標とする。さらに、ベイズ深層学習において、確率分布のモーメントを陽に取り扱うことのできる計算機アーキテクチャの創出によりベイズ深層学習の高効率な実現を目指す。
|
