2019 Fiscal Year Annual Research Report
知能コンピューティングを加速する自己学習型・革新的アーキテクチャ基盤技術の創出
| Project/Area Number |
18H05288
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
本村 真人 東京工業大学, 科学技術創成研究院, 教授 (90574286)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 哲也 北海道大学, 情報科学研究院, 教授 (00312380)
池辺 将之 北海道大学, 量子集積エレクトロニクス研究センター, 教授 (20374613)
高前田 伸也 北海道大学, 情報科学研究院, 准教授 (60738897)
|
|---|
| Project Period (FY) |
2018-06-11 – 2023-03-31
|
| Keywords | 深層ニューラルネット / ニューロモルフィック / アニーリングプロセッサ / リコンフィギュラブル / リザーバ計算 / 確率的コンピューティング |
|---|
| Outline of Annual Research Achievements |
DNNアーキテクチャ：単一のネットワーク重みを用いてビットスケーラブルな推論を可能とする手法であるProgressiveNNを提案した．CIFAR-100/ResNet18における評価で1ビット幅の推論精度を65%まで回復させることを確認した．結合重みを乱数に固定したまま結合を枝刈りしていくことで学習する新たなCNN構造(乱数重み固定CNN)の推論アーキテクチャ及びその学習手法の研究を進めた．並行して，低ビット量子化ニューラルネットワークの研究に取り組んだ。既提案のDither NNを一般化し、1b等の低ビット表現ニューラルネットワークの空間方向の自由度を活用する新たな活性化関数を開発した。
DNNの画像処理応用：カスコード型U-netにおいて、特にセンサに特有なポアソンノイズ除去ではタイリングが有効に働くことを見出した。また局所適応画像処理において、低解像度化DCNNによる空間物体の識別によって空間制御パラメータを操作する研究を進めた。
リザーバコンピューティング：原子スイッチが持つ非線形性および短期記憶能力（忘却能力）を活かすアーキテクチャを特徴とする原子スイッチリザーバを構築した。シミュレーション評価により物理レザバーとしては現在最高水準の精度と線形メモリ性能を持つことを示した（国際会議NCSP 2021の学生論文賞を受賞。Journal of Signal Processing誌に掲載決定）。
確率的コンピューティング：多層パーセプトロンのフォワード演算およびバックプロパゲーション演算回路の確率的動作回路の構築および検証が完了した。（1）非線形活性化関数の確率回路表現、（2）負の重み・演算の生物的手法による模擬と確率回路表現、および（3）前述の（1）（2）を理論的に組み込んだ新規バックプロパゲーションアルゴリズムの構築と確率回路表現が完了している（特許出願手続き中）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は，DNN(深層ニューラルネットワーク)処理エンジンを中核として，その隣接領域であるアニーリング計算機とニューロモルフィックHW(リザーバコンピューティングや確率的コンピューティングも含む)の最新の知見や研究進展を総合的に結集して，将来の知能コンピューティングを支える革新的アーキテクチャ基盤技術の創出を目指すものである．上述のように，DNNアーキテクチャやその画像応用，リザーバ計算・確率的コンピューティングの各分野で着々と研究成果を上げており，順調に研究が進展している．また，当初の構想通り，分野間の技術や発想の融合も着々と進展している．例えば，上に述べた乱数重み固定型CNNは，リザーバ・確率的コンピューティングの発想をDNNの枠組みに展開したものとも言える．また，その学習過程はアニーリングプロセスとして理解することもでき，その観点から学習を効率化する研究もスタートした．低ビット量子化についても，従来発表値よりも高い認識精度が達成可能であるデータを得ており，今後発表予定である．また，画像応用に関しても，入力画像のスパース性ないしは空間局所性の積極的な活用やNWの動的再構成による新たな応用開拓など，個々のテーマ間の結びつきが生まれている．リザーバ計算に関しては，光リザーバ等で主に採用されている環状ネットワークの光伝搬動作を基に、原子スイッチ上を移動する電流ヘッダの移動により模擬する（シフトレジスタを模擬する）原子スイッチリザーバを構築している．今後も，世界的に知的情報処理に関する研究分野間の融合が進んでいくものと思われるが，参加各研究者の専門性を活かしながら，独自性の高い研究を進めて成果を創出できている．今後は，更に，自己学習や教師無し学習などを志向して，学習の原理を深堀し，そのアーキテクチャ実現を模索する中で，より知能的な情報処理の実現を模索する展開を狙っていきたい．
|
| Strategy for Future Research Activity |
DNNアーキテクチャ：乱数固定型CNNの推論アーキテクチャ・学習手法について具体化を進める．前者は，具体的なLSIとしての実現を目指すとともに，後者は，アンサンブル学習の手法をNW構造の重ね合わせの形で取り込むことで，新たな学習手法の提案を目指す．また，スパースな入力に対するCNN推論処理アーキテクチャを検討する．更に，低ビット量子化DNNにおいて，空間方向の複数ニューロンの連携による情報表現方式の研究に取り組む．
DNNの画像処理応用：動的にNW構成を変更する手法を応用した研究開発を行う。まず，距離学習における量子化の影響を低減するため、量子化誤差の演算を段階的なNW変更によって担うことを念頭に研究を進める。更に、知的なノイズ除去・画像復元において，画像再構成時に新たなアーティファクトを生む問題に着目し，このアーティファクトを動的なNW再構成機構を利用して再学習する手法を研究する．
リザーバ計算：環状リザーバの仮想ノードにアナログCMOS回路を用いた新規リザーバの性能評価および最適化を行う。各ノードのアナログCMOS回路はサブスレッショルド領域で動作するnMOS FET 1個とMOSキャパシタにより構成可能である。今後はその性能を追求するためのパラメータ探査と最適化を行い、可能であればチップ試作外注のための予備設計まで進めたい。
確率的コンピューティング：「確率的メモリ」の実現に向けた検討を行う。ディジタル回路で確率的メモリを構成しようとすると、確率ドメインの入力信号を一旦デコードして数値化し、それをRAMに保持・更新しつつ、そのRAMの記憶値と乱数をディジタルコンパレータ（加算器）で比較し出力する（値を確率ドメインに戻す）必要があり、面積・電力オーバーヘッドが大きい。そのため、不揮発メモリ素子（ReRAM）とアナログ回路を用いたコンパクトかつ低電力な確率的メモリを構築する。
|
Research Products
(36 results)
-
-
-
-
[Journal Article] Quantification of Joint Space Width Difference on Radiography Via Phase-Only Correlation (POC) Analysis: a Phantom Study Comparing with Various Tomographical Modalities Using Conventional Margin-Contouring2021
Author(s)
Aimi Taguchi, Shun Shishido, Yafei Ou, Masayuki Ikebe, Tianyu Zeng, Wanxuan Fang, Koichi Murakami, Toshikazu Ueda, Nobutoshi Yasojima, Keitaro Sato, Kenichi Tamura, Kenneth Sutherland, Nozomi Oki, Ko Chiba, Kazuyuki Minowa, Masataka Uetani & Tamotsu Kamishima
-
Journal Title
Journal of Digital Imaging
Volume: 34
Pages: 96-104
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Radiography Contrast Enhancement: Smoothed LHE Filter a Practical Solution for Digital X-Rays with Mach Band2019
Author(s)
Ambalathankandy, P., Ou, Y., Kochiyil, J., Takamaeda, S., Motomura, M., Asai, T., and Ikebe, M.
Organizer
2019 Digital Image Computing: Techniques and Applications (DICTA)
Int'l Joint Research
-
-
-
-
-
-
-
-
