2018 Fiscal Year Research-status Report
Analog-Digital Mixed Signal Reconfigurable System for Machine Learning to Analog Signal
| Project/Area Number |
18K11223
|
|---|
| Research Institution | The University of Kitakyushu |
|---|
Principal Investigator |
中武 繁寿 北九州市立大学, 国際環境工学部, 教授 (10282831)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 機械学習 / アナログ・パーセプトロン回路 / DACベース乗算器 / 低電力ニューラルネットネットワーク回路 |
|---|
| Outline of Annual Research Achievements |
工場、農場、都市などのさまざまな地域で活用する無線センサノード向け機械学習ハードウエアの開発を目標とした。ただし、従来のGPUやFPGAベースのニューラルネットワークアーキテクチャとは異なり、大規模な計算を犠牲する一方で、アナログ信号を直接扱うことで、小型でかつ低消費電力のアーキテクチャを提案する。ここでは、DACベースの乗算器を導入したパーセプトロン回路を提案している。今年度は、以下の3つの検証を行った。
(1) DACベースのパーセプトロン回路の開発：パーセプトロンは、ニューラルネットワークシステムで使用される不可欠な機能である。この典型的なモデルは、入力f1(t),...,fn(t)に対して、それぞれに重みw1,...wnが乗算し、それらの合計を出力する。本研究では、この乗算のためのハードウエアとして、DACベースの乗算器を導入する。提案回路の最も重要な利点は、アナログ信号を入力として直接扱うため、小型のハードウエアで高速に動作する。一方で、アナログ入力はデジタルコードのみで増幅するため、精度はプロセスによる変動の影響を受けない。
(2) 活性化関数の実現および多層ニューラルネットワークへの応用：ReLUは効率的な活性化関数としてよく知られており、それはf(x)=max(0, x)として定義される。我々は、多段ソースフォロワ回路によりReLU関数を実現し、また3層ニューラルネットネットワークへの適用を行い、シミュレーションによりその有効性を示した。
(4) 機械学習ソフトウェアTensorFlowとの比較：簡単な周期入力に対して、デファクトのTensorFlowによるソフトウェア・シミュレーションと提案回路のSPICEシミュレーションの結果を比較し、提案するパーセプトロン回路が機械学習ハードウエアとして正常に動作することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画では、1年目では、多層型ニューラルネットワークの検証として、提案パーセプトロン回路とシグモイド関数を実現する回路を組み合わせ、多層ニューラルネットワーク回路を設計としていた。研究実績で記述したとおり、(1) ソースフォロワー回路により活性化関数（ReLU）を実現したこと、(2) 3層ニューラルネットワークを構成し、TensorFlowによるソフトウェア・シミュレーションの結果を回路シミュレーションでも再現できたことにより、提案パーセプトロン回路が多層ニューラルネットワークへも適用可能であることを示すことができた。本研究の成果は、
Yoritaka Ishiguchi and Shigetoshi Nakatake, "Analog Neural Circuit with DAC-based Perceptron", Workshop on Hardware and Algorithms for Learning On-a-chip(HALO), 2018のポスター発表として採択された。
また、2年目の計画では、位相シフトを用いた信号学習の検証を予定しているが、そのためには、生体信号の特徴解析を行う必要がある。そのために、すでに心拍信号、筋電位信号に対してヒルベルト変換を行い、特徴抽出するアルゴリズムをMATLAB上で開発し、機械学習を行う準備が完了している。また、提案回路をチップ化し、実測による評価を行う準備も進めている。
|
| Strategy for Future Research Activity |
2年目では、提案回路を拡張して、入力信号の位相をずらした複数信号に対して学習する回路構造を提案し、その性能を検証する。具体的には、心拍信号の特徴抽出のために用いられるヒルベルト変換に着目する。提案パーセプトロン回路を用いて多層ニューラルネットワーク回路を構成し、入力信号sinθの位相を90°シフトするヒルベルト変換回路を実現する。さらに、MATLAB上で実現したヒルベルト変換と回路シミュレーション結果の比較を行い、心拍等の生体信号の特徴抽出への適用可能性を検証する。さらに、ニューラルネットワークの多層化を進め、特徴抽出と機械学習の実現を試みる。ここでは、TensorFlowによるシミュレーション結果を回路シミュレーションで再現できるかで検証を行う。
さらに、パーセプトロン回路およびReLU活性化関数を0.5um/5V製造プロセスによりチップ化し、回路シミュレーションと実測結果の比較を行う。比較結果は、ニューラルネットワーク多層化のための回路接続方法の提案へフィードバックする。
|
