| Project/Area Number |
22KJ1348
|
|---|
| Project/Area Number (Other) |
22J23506 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴木 淳之介 東京工業大学, 工学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 深層学習 / アクセラレータ / オンライン学習 / 低電力 / ニューラルネットワーク / 超低電力エッジAI / 推論アクセラレータ / ハードウェアアーキテクチャ / 量子化 |
|---|
| Outline of Research at the Start |
Society5.0の目指すAI社会において求められるユーザ要件や動作環境に適応したAI処理の実現に向けて，計算資源や電力資源制約のあるエッジ環境下において環境や利用状況に応じてカスタマイズ可能な深層学習アーキテクチャの実現を目指す．回路資源と電力資源を最大限活用するハードウェアアーキテクチャとこの性能を最大限に引き出すアルゴリズムの両面により解決を図る．推論処理を高効率に処理する超低電力アクセラレータ，エッジでのオンライン学習を可能とするアクセラレータの開発を通して高効率なAI処理基盤の実現に貢献する．
|
| Outline of Annual Research Achievements |
本年度は、環境適応型エッジAIの実現に向けて、昨年度設計した超低電力ビット累進型アクセラレータのベースアルゴリズムであるProgressiveNNの効率化に取り組んだ。ProgressiveNNでは、ニューラルネットワークの重みをビット単位の2値表現で量子化し、最上位ビットからビットシリアルに計算することで適応的なビット精度を実現している。しかし、2値表現｛+1, -1｝の累積のためゼロ表現がなく、スパースアクセラレータによる効率化ができないという問題が存在する。そこで、ブースアルゴリズムを組み合わせることで、0表現とビット累進的な表現を両立可能であることを示した。また、高ビット精度モデルから低ビット精度モデルへの段階的な学習がもたらす低ビット精度モデルの精度劣化に対し、3値モデルから学習した分布を維持しつつ、高ビットへ学習することで、精度-計算量のトレードオフを改善した。これにより、ターナリーからNビットモデルまでを単一重みで実現可能とした。この成果は2024年4月にAICASで発表予定である。
また、超低電力アクセラレータの成果について、VLSI Symposiumでの発表および国内のRECONF研究会での発表を行った。これらの成果に対し、RECONF優秀講演賞、IEEE EDS Japan Joint Chapter Student Awardを受賞した。また、VLSIの拡張論文についても発表している。
次に、環境適応型エッジAIの実現に向けた低電力学習アクセラレータの設計を行い、現在進行中である。エッジデバイスでの低電力学習に向け、低ビットかつ高ダイナミックレンジな数値表現の導入および計算量削減手法を検討した。本年度は主にアルゴリズムの評価を行い、来年度ハードウェア設計予定となっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、これまでの研究成果であるビット漸進型ニューラルネットワーク（NN）アルゴリズムであるProgressiveNNを拡張し、スパースシティを利用可能なビット漸進的量子化アルゴリズムを開発・評価を行った。これらの成果はAICAS 2024に採択されている。また、並行して環境適応型エッジAIの実現に向けて、オンチップ学習を実現する学習アクセラレータのアルゴリズム検討を完了しており、本研究課題がおおむね順調に進んでいると考えている。
|
| Strategy for Future Research Activity |
現時点では、今後設計予定であるオンチップ学習アクセラレータのベースアルゴリズムの検討をおおむね完了しており、来年度から本格的に設計予定となっている。
2023年度は、これまでの低電力チップやFPGAアクセラレータ知見を活かしつつ、低電力かつ高効率な学習アクセラレータの設計を行う。また、並行してオンチップ軽量学習アルゴリズムの改良やハードウェアシミュレーション環境の作成・モデル評価を行う。また、オンチップ学習におけるラベルなしデータ等のシステムレベルの研究課題についても取り組んでいく予定である。これらの成果をまとめ、本研究成果を国際学会や論文誌に投稿する予定である。
|
