2022 Fiscal Year Annual Research Report
Innovative Self-Learnable Architecture Platform for Accelerating Intelligent Computing
| Project/Area Number |
18H05288
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 哲也 北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也 東京大学, 大学院情報理工学系研究科, 准教授 (60738897)
|
|---|
| Project Period (FY) |
2018-06-11 – 2023-03-31
|
| Keywords | 深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル / リザーバ計算 / 確率的コンピューティング |
|---|
| Outline of Annual Research Achievements |
ビット可変推論ProgressiveNN，乱数固定によるモデルサイズ圧縮・隠れニューラルネット技術，その世界初のアーキテクチャ・チップHiddenite等を提案した．また、ハードウェアだけでなく，強い宝くじ仮説の学習技術に関しても研究を進めた．二値のマスクを複数枚ピラミッド状に重ね合わせることで更に隠れニューラルネットワークの精度を上げられることを突き止め，その詳細学習手法Multicoated Supermask (M-Sup)を提唱した．M-Supにより，例えば7枚のマスクを用いることでResnet-50の精度を4%向上し，一桁少ないモデル情報量でありながら，重み学習型の従来DNNと同精度を実現することが可能になった．本技術は機械学習のトップ国際会議であるICMLで発表した[ICML2022]．
新たな二値化DNN技術や，高位合成コンパイラNNgenとこれを活用した奥行推定FPGAアクセラレータ等を提案した．並列スピン更新アルゴリズムとその改良・評価を進めLSI実証結果を発表した．DNNと離散最適化の融合研究を進めRecurrent ResidualNetworkを提案した．
原子スイッチを用いたリザーバコンピューティングや確率的計算に基づくDNNのフォワード・バックワード計算を実現した．
特に，特記すべき成果として述べた隠れニューラルネット技術に関する世界初のアルゴリズムとハードウェア両面の研究成果は，DNNとアニーリングの双方を視野に入れる本研究課題ならではの研究方針により生み出されたものであり，今後もAI処理分野へ広く波及が期待される大きな意義を持つものであったと言える．
|
| Research Progress Status |
令和4年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和4年度が最終年度であるため、記入しない。
|
Research Products
(23 results)
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Ring-VCO-based ReLU activation function with linearity improvement for pulsed neuron circuits.2022
Author(s)
Srikram, P., Ambalathankandy, P., Kanazawa, Y., Motomura, M., Ikebe, M.
Organizer
In 2022 29th IEEE International Conference on Electronics, Circuits and Systems (ICECS)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
