学習機能を含むパルス駆動型ハードウェアニューラルネットワークの開発

• 研究課題/領域番号: 11750334
• 研究種目: 奨励研究(A)
• 配分区分: 補助金
• 研究分野: 情報通信工学
• 研究機関: 大分大学
• 研究代表者: 肥川 宏臣 大分大学, 工学部, 助教授 (10244154)
• 研究期間 (年度): 1999 – 2000
• 研究課題ステータス: 完了 (2000年度)
• 配分額: 2,100千円 (直接経費: 2,100千円); 2000年度: 1,000千円 (直接経費: 1,000千円); 1999年度: 1,100千円 (直接経費: 1,100千円)
• キーワード: ニューラルネットワーク / パルスニューロン / オンチップ学習 / バックプロパゲーション / DDFS / パルス位置変調 / FPGA / ハードウェア

研究概要

本研究では,シナプスの重みを浮動小数点フォーマットにより表すことができるハードウェアパルスモード多層ニューラルネットワークについて研究を行った.通常のパルスニューラルネットワークでは,パルス信号の密度により信号レベルを表すが,提案するニューラルネットワークでは,パルス密度(周波数)と各パルスごとに設定した重みの値により信号レベルを表すことで,シナプス荷重を浮動小数点で表現できるようにしている.浮動小数点表現により,広範囲な重みの設定が可能となるため,より複雑な問題に対応できるハードウェアニューラルネットワークの実現が可能となる.
提案するニューラルネットワークを実装するために,パルス信号の重み付けと周波数変換を行うシナプス乗算器,シナプス信号の加算,非線形活性化関数を持つニューロンの開発を行った.シナプス乗算器の周波数変換部にはDirect Digital Frequency Synthesizer(DDFS)を使用し,パルスの重み付けにはパルス位置変調を用いた.これらの回路を用いることで,浮動小数点演算を通常の乗算器を用いずに実装している.さらに,オンチップ学習機能を持たせるために,バックプロパゲーションアルゴリズムをパルス演算によりハードウェアとして実装している.
本研究で開発した,シナプス乗算器,ニューロン,学習機能を用いて学習機能付きニューラルネットワークをField programmable gate array(FPGA)を用いて実装し,実験により提案するシステムの評価を行った.実験では,論理関数の学習問題,2次元図形の領域分割問題についての実験を行った.実験結果から,提案するネットワークが複雑な問題に対応できるとともに,良好なオンチップ学習機能を持つことを確認した.

研究成果

• [文献書誌] 肥川宏臣: "Pulse Mode Multilayer Neural Network Based on Floating Point number Representation"Proceedings of 2000 IEEE International Symposium on Circuits and Systems (ISCAS 2000). 3巻. 145-148 (2000)
• [文献書誌] 肥川宏臣: "Pulse Mode Multilayer Neural Network with Floating Point Operation and On-chip Learning"Proceedings of 2000 IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN 2000). 2巻. 71-76 (2000)
• [文献書誌] 佐藤和雄,肥川宏臣: "On-Chip Learning for Pulse Mode Neural Network with Multiple Output"Proceedings of 1999 IEEE ISPACS'99. 73-76 (1999)
• [文献書誌] 肥川 宏臣: "周波数変調パルスと多数決ニューロンによる学習機能付き多層ニューラルネットワーク"電子情報通信学会論文誌. Vol.J82-A,No.7. 1005-1015 (1999)
• [文献書誌] 肥川 宏臣: "An Efficient Pulse Mode Multilayer Neural Network"Proceedings of 1999 IEEE ISPACS'99. Vol.5. 367-370 (1999)
• [文献書誌] 肥川 宏臣: "Frequency-Based Multilayer Neural Network with On-Chip Learning and Enhanced Neuron Charactersitics"IEEE Transactions on Neural Networks. Vol.10,No.3(印刷中). 545-533 (1999)