不確かさを考慮するハードウェア指向ベイズ深層学習技術の開拓
| Project/Area Number |
22KJ0553
|
|---|
| Project/Area Number (Other) |
21J20357 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
平山 侑樹 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | ベイズ深層学習 / ハードウェア・アルゴリズム協調設計 / ニューラルネットワーク / 非線形関数 / モーメント伝播 / 決定論的変分推論 / 畳み込みニューラルネットワーク |
|---|
| Outline of Research at the Start |
本研究では信頼できるAI技術の実現に向け、ハードウェア・アルゴリズム双方の観点から、高効率なベイズ深層学習の実現を目的とする。ベイズ深層学習は不確実性を考慮した予測を可能とするため、医療診断、自動運転など安全性が重視されるアプリケーションでの活用が期待される。しかし、予測において確率分布からのサンプリングを要するため、深層学習と比べ膨大な計算量を必要とすることが知られている。そこで本研究では、サンプリングではなく、モーメントの伝播を利用した高速な推論アルゴリズム、およびモーメント伝播に特有のデータフローを活用した専用回路について研究を行い、高効率・高速なベイズ深層学習の実現を目指す。
|
| Outline of Annual Research Achievements |
本研究の目的は、信頼できるAI技術の実現に向け、高効率な不確実性評価を可能とするベイズ深層学習を実現することである。ベイズ深層学習は、予測の不確実性評価を可能とすることから、医療診断や自動運転などの予測における安全性が重視されるアプリケーションでの活用が期待されている。しかし、ベイズ深層学習は、予測に確率分布からのサンプリングを必要とすることから、従来の深層学習と比べ膨大な計算を必要とする。そこで本研究では、モーメントの伝播を利用したアルゴリズムに着目し、ハードウェア・アルゴリズムの協調設計によるベイズ深層学習の高速化・高効率化に取り組んだ。最終年度では、前年度から引き続き、ベイズ深層学習の推論の大部分でサンプリングを必要としない推論法であるモーメント伝播を利用した計算法に関する研究を行なった。バッチ正規化などの処理を確率変数へと拡張した層を導入することにより、大規模な畳み込みニューラルネットワークでのモーメント伝播による予測・学習を可能としている。また、前年度に提案したモーメントの導出が容易な非線形関数であるGeMPを利用したニューラルネットワークのFPGA実装を行なった。GeMPは、入力のモーメントに対して非線形変換を行うことにより、出力のモーメントの計算を容易とした非線形関数である。この層を利用することにより、限られた回路資源・電力下でのモーメント伝播による高速な推論が可能となる。FPGA上での評価の結果、従来法と比較し、提案法では少ない回路規模、低消費電力での高効率な推論が可能であることを示した。
|
Report
(3 results)
Research Products
(5 results)
