2021 Fiscal Year Annual Research Report
Innovative Self-Learnable Architecture Platform for Accelerating Intelligent Computing
| Project/Area Number |
18H05288
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 哲也 北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也 東京大学, 大学院情報理工学系研究科, 准教授 (60738897)
|
|---|
| Project Period (FY) |
2018-06-11 – 2023-03-31
|
| Keywords | 深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル / リザーバ計算 / 確率的コンピューティング |
|---|
| Outline of Annual Research Achievements |
DNNアーキテクチャ: 「強い宝くじ仮説」に基づき，乱数固定重みと二値マスクを用いる「隠れニューラルネットワーク」アーキテクチャとその学習アルゴリズムを提唱し，40nm CMOSで試作したHiddenite推論チップをISSCCで発表した．乱数固定の重みをチップ内部で生成しマスクは二値であるため外部メモリアクセスを大幅に削減でき，実効最大約30TOPS/Wを達成した．
低ビット量子化DNN: 古典画像処理に着想を得て，局所的かつ適応的な活性化関数閾値を用いることで，認識精度が向上することを明らかにした．また，FPGAプロトタイプ実装でその追加HW量が少ないことを確認した．また，ベイジアンDNNの中間層の出力値の類似性に着目した高速計算アルゴリズムを開発し，DNNフレームワークおよびSWシミュレータを用いて，高速化と低消費電力化を確認した．
確率的コンピューティング: ニューロモルフィックAI実装において不可欠となる（1）総和演算，（2）活性化関数，（3）減算によらない負の演算（抑制），および（4）確率記憶回路について研究を行い，（1）-（3）の実装と評価を完了，（4）のSim評価を完了した．新規BP法（SGDベース）の構築とその回路実装評価，およびモメンタム最適化法の対数量子化により学習回数を削減するHW指向新規オプティマイザ（Holmes）を構築した．
局所適応画像処理のDCNN活用: 心理学的知見に基づく暖色と寒色から生じる深度情報を活用した色チャネルの削減手法が有効であることを主観評価実験で見出した．本チャネル演算は，3ch.1x1convで実行でき，基本演算のCIELabよりも高速である．Resnet29顔認証における演算精度をINT8に削減しても精度劣化は殆どなかった[FP32(Int8): 認識率97.6%(97.1%)-等価エラー率1.26%(1.48%)]．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
DNNアーキテクチャテーマでは，最新DNN理論である強い宝くじ理論(隠れDNN)の推論アーキテクチャを世界で初めて提案(特許出願)するとともに集積回路のオリンピックISSCCで試作チップを発表して注目を集めた．また，その上で実際に高精度かつ高効率を実現する学習アルゴリズムを併せて提案した．
低ビット量子化DNNテーマでは，その精度向上手法についてプロトタイプハードウェアの実装を進め，ハードウェア効率にも優れることを確かめており順調に進展している．この成果の外部発表に関しては生憎不採択が続いているため，ブラッシュアップの上，再度投稿を行う．ベイジアンニューラルネットワークの計算効率化に関しても，ハードウェアとアルゴリズムのコデザインにより不確かさの表現能力を損なうことなく，計算高速化が可能であることを示しており，カスタムコンピューティングの国際会議ASAPでも発表を行うなど，順調に進展している．
確率的コンピューティングテーマでは，最後の課題である確率記憶回路に取り組んでおり，確率記憶回路単体，および確率的ニューロモルフィックAIに組み込んで学習・推論をさせたシミュレーションでは概ね良好な性能が出ている．そのパラメータ調整後，実回路での検証を行うとともに，学習のオプティマイザをHolmesに切り替えて性能評価を行う．
DNNの画像処理応用テーマでは，高効率・高解像度-局所適応画像処理のパラメータ設定用低解像度DCNNの実装において，データ削減手法の開発とチャネル出力が輝度チャネルとして，高速かつ他の画像処理にも活用可能であることが示せた．また，実アプリケーション用のDCNN（顔認証）において精度劣化を抑えて量子化の効果を示すことができた．
なお情処全国大会(2022年3月)において，本基盤S課題のメンバによる特別セッションを開催した．また情処学会誌3月号に解説記事を発表した．
|
| Strategy for Future Research Activity |
DNNアーキテクチャ: 隠れニューラルネットワーク理論は，そのDNN構造の係数ランダム性や係数固定性などから，DNNとリザーバ計算の融合であると理解することもでき，本基盤S課題の方向性と合致する有望な理論である．部分NWの選択問題は離散最適化問題でもあり，離散最適化の並列解法であるアニーリングを活用したニューラルネットワーク学習のモデルとその学習ハードウェアアーキテクチャの研究を進める．
低ビット量子化DNN： 二値化DNNアクセラレータの回路をベースにした，ビットレベルスパース性を活用するアーキテクチャの研究を進める．量子化誤差を減らす正則化技術を応用し，ビットレベルスパース性を増やすことで，実効メモリサイズの低減と演算効率の向上を目指す．また，二値化DNNアクセラレータとの共通回路構成を検討する．あわせて，学習済みモデルに特化した仮想ニューロン・物理シナプス型のDNN演算回路のコンパイル技術についても研究を進める．
確率的コンピューティング： メモリ回路（確率的メモリ）極低電力・省面積なメモリセルを構築するために「サブスレッショルドCMOS双安定回路」を外部雑音源で駆動し，並行移動量をアナログ値としてフローティングゲートMOS FETで保持する方式で試作を行う．また固定小数点の打ち切りおよび対数量子化を活用してモメンタムオプティマイザを構成すると，RMSPropと類似の重み個別の学習係数調整が可能になることを利用して，軽量学習ハードウェアを構築し，そのエッジ応用を開拓する．
DNNの画像・センシング応用：センサアレイによる出力情報を画像として指・物体の変形投影形状とその圧力から物体の柔らかさを取得するNW構造を研究する．センシングに活用するためには，エッジに搭載するための軽量化とオンライン学習機構の工夫が必要であり，これらを念頭に研究を進める．
|
