学習機能を含むパルス駆動型ハードウェアニューラルネットワークの開発

• Project/Area Number: 11750334
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Allocation Type: Single-year Grants
• Research Field: 情報通信工学
• Research Institution: Oita University
• Principal Investigator: 肥川 宏臣 大分大学, 工学部, 助教授 (10244154)
• Project Period (FY): 1999 – 2000
• Project Status: Completed (Fiscal Year 2000)
• Budget Amount: ¥2,100,000 (Direct Cost: ¥2,100,000); Fiscal Year 2000: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 1999: ¥1,100,000 (Direct Cost: ¥1,100,000)
• Keywords: ニューラルネットワーク / パルスニューロン / オンチップ学習 / バックプロパゲーション / DDFS / パルス位置変調 / FPGA / ハードウェア

Research Abstract

本研究では,シナプスの重みを浮動小数点フォーマットにより表すことができるハードウェアパルスモード多層ニューラルネットワークについて研究を行った.通常のパルスニューラルネットワークでは,パルス信号の密度により信号レベルを表すが,提案するニューラルネットワークでは,パルス密度(周波数)と各パルスごとに設定した重みの値により信号レベルを表すことで,シナプス荷重を浮動小数点で表現できるようにしている.浮動小数点表現により,広範囲な重みの設定が可能となるため,より複雑な問題に対応できるハードウェアニューラルネットワークの実現が可能となる.
提案するニューラルネットワークを実装するために,パルス信号の重み付けと周波数変換を行うシナプス乗算器,シナプス信号の加算,非線形活性化関数を持つニューロンの開発を行った.シナプス乗算器の周波数変換部にはDirect Digital Frequency Synthesizer(DDFS)を使用し,パルスの重み付けにはパルス位置変調を用いた.これらの回路を用いることで,浮動小数点演算を通常の乗算器を用いずに実装している.さらに,オンチップ学習機能を持たせるために,バックプロパゲーションアルゴリズムをパルス演算によりハードウェアとして実装している.
本研究で開発した,シナプス乗算器,ニューロン,学習機能を用いて学習機能付きニューラルネットワークをField programmable gate array(FPGA)を用いて実装し,実験により提案するシステムの評価を行った.実験では,論理関数の学習問題,2次元図形の領域分割問題についての実験を行った.実験結果から,提案するネットワークが複雑な問題に対応できるとともに,良好なオンチップ学習機能を持つことを確認した.

Research Products

• [Publications] 肥川宏臣: "Pulse Mode Multilayer Neural Network Based on Floating Point number Representation"Proceedings of 2000 IEEE International Symposium on Circuits and Systems (ISCAS 2000). 3巻. 145-148 (2000)
• [Publications] 肥川宏臣: "Pulse Mode Multilayer Neural Network with Floating Point Operation and On-chip Learning"Proceedings of 2000 IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN 2000). 2巻. 71-76 (2000)
• [Publications] 佐藤和雄,肥川宏臣: "On-Chip Learning for Pulse Mode Neural Network with Multiple Output"Proceedings of 1999 IEEE ISPACS'99. 73-76 (1999)
• [Publications] 肥川 宏臣: "周波数変調パルスと多数決ニューロンによる学習機能付き多層ニューラルネットワーク"電子情報通信学会論文誌. Vol.J82-A,No.7. 1005-1015 (1999)
• [Publications] 肥川 宏臣: "An Efficient Pulse Mode Multilayer Neural Network"Proceedings of 1999 IEEE ISPACS'99. Vol.5. 367-370 (1999)
• [Publications] 肥川 宏臣: "Frequency-Based Multilayer Neural Network with On-Chip Learning and Enhanced Neuron Charactersitics"IEEE Transactions on Neural Networks. Vol.10,No.3(印刷中). 545-533 (1999)