2022 Fiscal Year Annual Research Report
Ultra energy-efficient DNN accelerator based on non-product-sum-type arithmetic
| Project/Area Number |
22H03555
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
劉 載勲 東京工業大学, 科学技術創成研究院, 准教授 (70726976)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | DNN / アクセラレータ / 非積和 / エネルギー効率 |
|---|
| Outline of Annual Research Achievements |
令和４年度は、非積和型演算に基づく超高エネルギー効率 DNN アクセラレータの実現に向けて、 強い宝くじ仮説（SLT）に基づく新たな DNN アルゴリズムを提案し、非積和型演算を用いたアクセラレータ実現の基礎を整えた。
SLT は、初期化された乱数重みニューラルネットワークから機能する乱数の部分ニューラルネットワークを抽出する。学習時に乱数生成器によって生成した２値重みを、同一乱数シードで推論時にも再生成できる。そのため、メモリ要求が少なく、積和演算を必要としないの特徴であるが、通常のニューラルネットワークに比べて推論精度の劣化が見られる。
本研究では、SLT の推論精度を向上するための M-Sup の研究と、SLT の更なる圧縮を可能にする HFN の研究を実施し、それぞれの成果を一線級の国際会議と論文誌で公表した。
まず、M-Sup は、SLT で乱数重みの使用有無を表現する Supermask の学習時に発生する問題を数学的に分析し、ほぼ同等の時間で、逆伝播時の情報をより効率良く活用できる多重 Supermask の学習方法を提案した。これにより既存 SLT や通常のニューラルネットワークでは達成できなかったモデルサイズ当たりの推論精度を達成できている。こちらの成果は、人工知能分野のトップ会議である国際学会 ICML で公表されている。
次に、HFNの研究では BMVC 2021 で同メンバーが行った HFN の元提案を更に分析し、HFN を用いたより高度な推論モデル実現の可能性を示した。HFN は SLT におけるネットワークのレイヤーを繰り返し使用するリカレントタイプのネットワークで、DNN とリザーバコンピューティングの中間的な立ち位置にある。こちらの成果は論文誌 IEEE ACCESS で公表されている。
|
| Research Progress Status |
翌年度、交付申請を辞退するため、記入しない。
|
| Strategy for Future Research Activity |
翌年度、交付申請を辞退するため、記入しない。
|
