2023 Fiscal Year Research-status Report
| Project/Area Number |
22KJ1348
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴木 淳之介 東京工業大学, 工学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Keywords | 深層学習 / アクセラレータ / オンライン学習 / 低電力 |
|---|
| Outline of Annual Research Achievements |
本年度は、環境適応型エッジAIの実現に向けて、昨年度設計した超低電力ビット累進型アクセラレータのベースアルゴリズムであるProgressiveNNの効率化に取り組んだ。ProgressiveNNでは、ニューラルネットワークの重みをビット単位の2値表現で量子化し、最上位ビットからビットシリアルに計算することで適応的なビット精度を実現している。しかし、2値表現｛+1, -1｝の累積のためゼロ表現がなく、スパースアクセラレータによる効率化ができないという問題が存在する。そこで、ブースアルゴリズムを組み合わせることで、0表現とビット累進的な表現を両立可能であることを示した。また、高ビット精度モデルから低ビット精度モデルへの段階的な学習がもたらす低ビット精度モデルの精度劣化に対し、3値モデルから学習した分布を維持しつつ、高ビットへ学習することで、精度-計算量のトレードオフを改善した。これにより、ターナリーからNビットモデルまでを単一重みで実現可能とした。この成果は2024年4月にAICASで発表予定である。
また、超低電力アクセラレータの成果について、VLSI Symposiumでの発表および国内のRECONF研究会での発表を行った。これらの成果に対し、RECONF優秀講演賞、IEEE EDS Japan Joint Chapter Student Awardを受賞した。また、VLSIの拡張論文についても発表している。
次に、環境適応型エッジAIの実現に向けた低電力学習アクセラレータの設計を行い、現在進行中である。エッジデバイスでの低電力学習に向け、低ビットかつ高ダイナミックレンジな数値表現の導入および計算量削減手法を検討した。本年度は主にアルゴリズムの評価を行い、来年度ハードウェア設計予定となっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、これまでの研究成果であるビット漸進型ニューラルネットワーク（NN）アルゴリズムであるProgressiveNNを拡張し、スパースシティを利用可能なビット漸進的量子化アルゴリズムを開発・評価を行った。これらの成果はAICAS 2024に採択されている。また、並行して環境適応型エッジAIの実現に向けて、オンチップ学習を実現する学習アクセラレータのアルゴリズム検討を完了しており、本研究課題がおおむね順調に進んでいると考えている。
|
| Strategy for Future Research Activity |
現時点では、今後設計予定であるオンチップ学習アクセラレータのベースアルゴリズムの検討をおおむね完了しており、来年度から本格的に設計予定となっている。
2023年度は、これまでの低電力チップやFPGAアクセラレータ知見を活かしつつ、低電力かつ高効率な学習アクセラレータの設計を行う。また、並行してオンチップ軽量学習アルゴリズムの改良やハードウェアシミュレーション環境の作成・モデル評価を行う。また、オンチップ学習におけるラベルなしデータ等のシステムレベルの研究課題についても取り組んでいく予定である。これらの成果をまとめ、本研究成果を国際学会や論文誌に投稿する予定である。
|
| Causes of Carryover |
昨年度末に購入予定であったノートパソコンの購入について、納期の問題により2024年度にその購入費分を繰り上げることとした。これについては、2024年4月に購入済み（33万）である。
本年度の予算では、主に以下の項目について使用する予定である。まず、ハードウェア設計・評価に必要な電子部品（FPGA、コネクタ、測定器等）に約40万円、学会参加のための旅費等に約40万円を使用する。また、論文誌への投稿に際し英文添削サービスの利用も検討している。また、昨年同様に英文添削等のサブスクリプションサービスにも約8万ほど使用する予定となっている。
|
