| 研究課題/領域番号 |
19K12176
|
|---|
| 研究機関 | 熊本高等専門学校 |
|---|
研究代表者 |
本木 実 熊本高等専門学校, 電子情報システム工学系TEグループ, 教授 (40320139)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | スパイキングニューラルネット / 強化学習 / オンチップ自律学習 |
|---|
| 研究実績の概要 |
昨年度末「目標到達タスク」において初めてSAM-SNNを利用したモデルでの成功を確認した．ここで，本SAM-SNNでも幾つかのパラメータにおいて妥当なcritic分布を得ることができた．しかしながら，その後の解析により学習の経過に伴って目標到達率が再度減少し学習が安定しないことが判明した．そこで，比較対象としてMLP（Multi-Layer-Perceptron）での同一タスクにおいての比較実験を行った．MLPでは滑らかなcritic分布と学習の安定性が見られた．知財化等のためにはよりSAM-SNNで安定した結果を得る条件等を明らかにする必要がある．今後，目標到達への経路と対応するcriticの値との関係を分析するなどにより，学習の不安定さを解析する．
さらに，他のタスクとしてCartpole Problemでの実施を試みた．非常にポピュラーな制御問題でありオンチップ自律学習回路の適用対象としてより実践的なタスクに近づける狙いがある．本課題においては，連続値を扱えるactor-critic型の本研究に関連したモデルに適用した場合は，逆に（離散型モデルでの適用に比して）Cartpoleが安定しないという結果となった．
しかしながら，上記の研究遂行中に，SAM-SNNの基本的な特性に関しての基礎研究を別途行う必要性があり，発火率スパイクコーディングにおける特性を数理的および実験的に調査した．これにより，発火率コーディングを用いた場合， MLPと同様な特徴空間での分離面を形成することが明らかとなった．その結果，非常にコンパクトな3ニューロンというSAM-SNNの構成で基本的なXORタスクを実現した．この解明は今後本強化学習課題を含む，他の課題についても適用でき，SAM-SNNの汎化性能を向上させる際の指針とすることが可能である（成果発表済み）．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
コロナ理由とした教育研究業務増加の影響により本研究課題推進に全体的な遅れが生じた．
|
| 今後の研究の推進方策 |
最終年度に向けて，今後は次の3つの主な課題に取り組む．
第１の課題は，「目標到達タスク」の学習の不安定さのメカニズムを解析することにより，不安定さを生み出す原因を解明し，学習をより安定させるために必要な条件を見出す．SNNがもつ「離散性」が，最も困難な原因と考えており，まず，criticの価値関数近似actorの行動関数近似において，滑らかさの欠如が学習の不安定さをもたらすという仮説をもとに検討を進める．
第２の課題は，第１の課題を受けて，一般にSNNでは従来苦手としている滑らかな関数近似を新たなSAMニューロンモデルの提案も含めて検討する．スパイクコーディングを発火率コーディングに限り，かつ，内部パラメータを制御することにより，シグモイド関数のような滑らかな関数を近似できる可能性があるためこのモデルの検証も行う．
第３の課題は，以上の課題に成功の成果をいた場合，SAM-SNNによるactor-critic型モデルを，Zynqプロセッサ(FPGA+ARM)開発ボードに実装・統合・動作検証ができるよう設計を行う．可能ならば，学習精度，推論精度，回路規模，消費電力など各種制約事項を明らかにし，将来に向けたアプリケーション適用性を検討する．
|
| 次年度使用額が生じた理由 |
コロナ理由とした教育研究業務増加の影響により本研究課題推進に全体的な遅れが生じた．
次年度は，成果発表のための経費（学会発表，論文投稿，出張旅費，国際会議参加登録費）として計画している．
|
