2019 Fiscal Year Research-status Report
オンチップ自律学習回路のための価値形成目的型SAM-SNN強化学習の研究
| Project/Area Number |
19K12176
|
|---|
| Research Institution | National Institute of Technology, Kumamoto College |
|---|
Principal Investigator |
本木 実 熊本高等専門学校, 電子情報システム工学系 TE-Gr, 教授 (40320139)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | スパイキングニューロン / 強化学習 / オンチップ自律学習 |
|---|
| Outline of Annual Research Achievements |
まず，研究の目的である，価値形成目的型のSAM-SNNの強化学習の研究，および本機能を有する脳型情報処理回路の開発のうち，前者の基礎研究としてSAM-SNNのモデルとNFR-codingと呼ぶスパイクコーディングの組み合わせの条件のもと，関数近似問題が，学習パラメタ数の増加（すなわち中間層ユニット数の増加）に伴う学習性能，汎化性能の精査を行った．ここで通常の機械学習理論とは異なりパラメタ数を増加しても学習性能が頭打ちになるという現象が見られた．追加の研究においてさらにパラメタ数を増やすことにより，学習性能の頭打ち現象が解消され，関数近似問題が精度よく解けることを発見した．これにより，今後SAM-SNN強化学習の研究の条件が一つ固定されることになるため，可変パラメタ数が減り見通しがつけやすくなる．研究コスト低減の重要性を持つ（学会発表済み）．
次に，中間層actorネットの研究については，その前段階のSAM-SNNの強化学習の基本的な部分が予想と異なっている（criticの値の連続性が粗すぎる）ために前進できていない状況であり，現在その原因を分析中である．そのため，通常のシグモイド型のネットと強化学習を組みわせたモデルの実装も含めて進めており進度に影響している．
さらに，最終目的である脳型情報処理回路の開発を並行して行った．外注先企業は，高度な半導体回路設計技術を有することも手伝い，本SAM-SNNをこれまでとは違うモジュール構造，より汎用的で，拡張性が高いモジュール構造で設計でき，本SAM-SNNの回路のFPGA（Xilinx Zynq Processor）への実装を推進できた．さらに，筋電信号センサを入力としロボットハンドを出力とするアプリの設計の見通しを付け，約1年半程度の開発期間予定を約1年でプロトタイプの設計・実装の推進が可能となった（未発表）．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
中間層actorネットの研究は遅れているが，一方で，脳型情報処理回路の開発の実装が進んでいるため，トータルでは(2)おおむね順調に進展している，
中間層actorネットの研究については，その前の段階のSAM-SNNの強化学習の基本的な部分が予想と異なっているために前進できていない状況であり，現在その原因を分析中である．また，この原因の分析のために，通常のシグモイド型のネットワークと強化学習を組みわせたモデルの実装も含めて研究を進めており，トータル研究期間が伸びている．一方，最終目的である「オンチップ自律学習」機能を有する脳型情報処理回路の開発を並行して前倒して行っており，これは開発を外注にて行っており，予定通り年度末に納入されたため，当初の予定としては，進んでいる．すなわち，一方で遅れ一方で進んでいるため，おおむね順調に進展しているとした．
|
| Strategy for Future Research Activity |
まず，目標到達タスクにおける，中間層actorネット（SAM-中間層actorネット）の計算機シミュレーションを推進する．その前段階のSAM-SNNの強化学習の基本的な部分が予想と異なっている（criticの値の連続性が粗すぎる）という問題もあるが，これと並行して，通常のシグモイド型のネットと強化学習モデルをベースとした中間層actorネット（MLP-中間層actorネット）の研究も行う．最初に，このMLP-中間層actorネットでどのような価値関数の形成がなされ，どのようなactor出力がなされるのかを観察・分析することにより，研究のガイドラインが求められると期待している．次に，SAM-中間層actorネットのcriticとactorの形成過程の観察・分析を行い，所望の学習機能と汎化機能の確認を行う．
これまでの知見では，目標到達タスクにおける，SAM-SNNの強化学習のactorの教師信号に追加する探索用の乱数成分の範囲が大きすぎることもあり，学習エピソード内において十分な数の学習データによる学習が行えておらず，十分な汎化が行えてない可能性が高い．（SAM-SNNによる関数近似では，MLPによる関数近似に比べると，学習データの数を多く必要とする）．探索用乱数成分の範囲の確認やその自動調整についても検討を続ける．
上記モデルの研究と並行して，脳型情報処理回路の開発も検討を進める．「オンチップ学習」機能を有する回路のプロトタイプ実装がほぼ完了したため，「オンチップ自律学習」機能の実装の形態を検討する．複数の方法が考えられるが，Sw/Hwの協調設計において，また，様々な実装形態についてアプリを想定しながら検討し，中間層actorネット（あるいは代替法）のFPGA実装を計画する．
※MLP（Multi-Layer Perceptron）：通常のシグモイド型等の多層ニューラルネット
|
| Causes of Carryover |
年度末（2020年3月）に学会発表のために旅費を計上していたが，コロナウィルス感染拡大防止のため，当開催学会が討論会開催を中止したため．
次年度に，研究・開発成果を国内発表，国外発表も含め検討する．コロナウィルス感染拡大防止対策による学会開催状況を見ながら，可能な限り計画的に使用を遂行する予定である．
|
