2020 Fiscal Year Annual Research Report
Innovative Self-Learnable Architecture Platform for Accelerating Intelligent Computing
| Project/Area Number |
18H05288
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 哲也 北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也 東京大学, 大学院情報理工学系研究科, 准教授 (60738897)
|
|---|
| Project Period (FY) |
2018-06-11 – 2023-03-31
|
| Keywords | 深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル / リザーバ計算 / 確率的コンピューティング |
|---|
| Outline of Annual Research Achievements |
確率的コンピューティングAIアーキテクチャの基礎検討を行い，メモリ部分を除き，必要な推論・学習演算を確率的コンピューティングのみで実行できるアーキテクチャを開拓した．また，強化学習のハードウェア実装に向けたDeep QネットワークのHW等価シミュレーション・評価を行い，実世界で有効な強化学習を行うためには，従来のSGDオプティマイザ（すでにHWがあるもの）だけでは不十分で，RMSPropと同等の性能を持つオプティマイザが必要となることを明らかにした．
二値化ニューラルネットワークの認識精度および信頼性向上を目指して，時間方向・空間方向の複数ニューロンの連携による情報表現方式の開発に取り組んだ．これまでのソフトウェアレベルの実験および，部分的なハードウェアの開発により，少ないハードウェア規模の増大で，従来の二値化ニューラルネットワークの高精度化手法を上回る認識精度を達成することを確認した．単一のネットワーク重みを用いてビットスケーラブルな推論を可能とする手法であるProgressiveNNについて，CIFAR-100/ResNet18における評価で1ビット幅の推論精度を65%まで回復させることを確認した．結合重みを乱数に固定したまま結合を枝刈りしていくことで学習する新たなCNN構造(乱数重み固定CNN)の推論アーキテクチャ及びその学習手法の研究を進めた．既提案のDither NNを一般化し，1b等の低ビット表現ニューラルネットワークの空間方向の自由度を活用する新たな活性化関数を開発した.
カスコード型U-netにおいて，特にセンサに特有なポアソンノイズ除去ではタイリングが有効に働くことを見出した．また局所適応画像処理において，低解像度化DCNNによる空間物体の識別によって空間制御パラメータを操作する研究を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上述のように，DNNアーキテクチャやその画像応用，リザーバ計・確率的コンピューティングの各分野で着々と研究成果を上げており，順調に研究が進展している．また，当初の構想通り，分野間の技術や発想の融合も着々と進展している．例えば，上に述べた乱数重み固定型CNNは，隠れニューラルネットワークの理論に基づいているが，リザーバ・確率的コンピューティングの発想をDNNの枠組みに展開したものとも言える．また，その学習過程は離散最適化問題を並列に解くアニーリングプロセスとして理解することもでき，その観点から学習を効率化する研究も進めている．低ビット量子化についても，従来発表値よりも高い認識精度が達成可能であるデータを得ており，今後発表予定である．また，画像応用に関しても，入力画像のスパース性ないしは空間局所性の積極的な活用やNWの動的再構成による新たな応用開拓など，個々のテーマ間の結びつきが生まれている．リザーバ計算に関しては，光リザーバ等で主に採用されている環状ネットワークの光伝搬動作を基に、原子スイッチ上を移動する電流ヘッダの移動により模擬する（シフトレジスタを模擬する）原子スイッチリザーバを構築している．今後も，世界的に知的情報処理に関する研究分野間の融合が進んでいくものと思われるが，参加各研究者の専門性を活かしながら，独自性の高い研究を進めて成果を創出できている．今後は，更に，自己学習や教師無し学習などを志向して，学習の原理を深堀し，そのアーキテクチャ実現を模索する中で，より知能的な情報処理の実現を模索する展開を狙っていきたい．
|
| Strategy for Future Research Activity |
本研究は，DNN処理エンジンを中核として，その隣接領域であるアニーリング計算機とニューロモルフィックHW(リザーバコンピューティングや確率的コンピューティングも含む)の最新の知見や研究進展を総合的に結集して，将来の知能コンピューティングを支える革新的アーキテクチャ基盤技術の創出を目指すものである．隠れニューラルネットワーク理論は，上記のように本基盤S課題の方向性と合致する有望な理論である．アニーリングを活用したニューラルネットワーク学習のモデルとその学習ハードウェアアーキテクチャの研究を進める．
また，二値化DNNアクセラレータの回路をベースにした，ビットレベルスパース性を活用するアーキテクチャの研究を進める．量子化誤差を減らす正則化技術を応用し，ビットレベルスパース性を増やすことで，実効メモリサイズの低減と演算効率の向上を目指す．また，二値化DNNアクセラレータとの共通回路構成を検討する．あわせて，学習済みモデルに特化した仮想ニューロン・物理シナプス型のDNN演算回路のコンパイル技術についても研究を進める．
更に，極低電力・省面積なメモリセルを構築するために「サブスレッショルドCMOS双安定回路」を外部雑音源で駆動し，並行移動量をアナログ値としてフローティングゲートMOS FETで保持する方式で試作を行う．また固定小数点の打ち切りおよび対数量子化を活用してモメンタムオプティマイザを構成すると，RMSPropと類似の重み個別の学習係数調整が可能になることを利用して，軽量学習ハードウェアを構築し，そのエッジ応用を開拓する．
加えて，センサアレイによる出力情報を画像として指・物体の変形投影形状とその圧力から物体の柔らかさを取得するNW構造を研究する．センシングに活用するためには，エッジに搭載するための軽量化とオンライン学習機構の工夫が必要であり，これらを念頭に研究を進める．
|
