2023 Fiscal Year Annual Research Report
不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓
| Project/Area Number |
22KJ0553
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
平山 侑樹 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | ベイズ深層学習 / ハードウェア・アルゴリズム協調設計 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、信頼できるAI技術の実現に向け、高効率な不確実性評価を可能とするベイズ深層学習を実現することである。ベイズ深層学習は、予測の不確実性評価を可能とすることから、医療診断や自動運転などの予測における安全性が重視されるアプリケーションでの活用が期待されている。しかし、ベイズ深層学習は、予測に確率分布からのサンプリングを必要とすることから、従来の深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ハードウェア・アルゴリズムの協調設計によるベイズ深層学習の高速化・高効率化に取り組んだ。最終年度では、前年度から引き続き、ベイズ深層学習の推論の大部分でサンプリングを必要としない推論法であるモーメント伝播を利用した計算法に関する研究を行なった。バッチ正規化などの処理を確率変数へと拡張した層を導入することにより、大規模な畳み込みニューラルネットワークでのモーメント伝播による予測・学習を可能としている。また、前年度に提案したモーメントの導出が容易な非線形関数であるGeMPを利用したニューラルネットワークのFPGA実装を行なった。GeMPは、入力のモーメントに対して非線形変換を行うことにより、出力のモーメントの計算を容易とした非線形関数である。この層を利用することにより、限られた回路資源・電力下でのモーメント伝播による高速な推論が可能となる。FPGA上での評価の結果、従来法と比較し、提案法では少ない回路規模、低消費電力での高効率な推論が可能であることを示した。
|
