2022 Fiscal Year Research-status Report
オンチップ自律学習回路のための価値形成目的型SAM-SNN強化学習の研究
| Project/Area Number |
19K12176
|
|---|
| Research Institution | National Institute of Technology, Kumamoto College |
|---|
Principal Investigator |
本木 実 熊本高等専門学校, 電子情報システム工学系TEグループ, 教授 (40320139)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | スパイキングニューラルネット / 強化学習 / オンチップ自律学習 |
|---|
| Outline of Annual Research Achievements |
一昨年度末，「目標到達タスク」において初めてSAM-SNNにActor-Critic型強化学習を利用したモデルでの成功を確認した．これに伴い，知財化の実施の検討も併せて行い，初出の技術であることを確認した．しかしながら，その後の解析により学習の経過に伴って目標到達率が再度減少し学習が安定しないことが判明した．これを受けて昨年度は，より解析を行いやすくするため，これまでC/C++言語により実験を行っていたが，python言語により実験システムを実装しなおし，各種パラメータの詳細な動きを観測しやすいように変更を行った．ここで作成したpython言語による実験システムは，本研究室にてSAM-SNNをライブラリ化したものを利用しており，研究の実施に伴って研究環境の整備も進め，技術蓄積を行っている．本研究室の本実験システムの利用により，下記のことが明らかとなってきた．
・探索を（カオス的などではなく）ランダムに行っており，このランダム成分のパラメータの設定による学習のされかたに幅がある．
・学習率ηの設定は，関数近似のタスクと同様に，小さめが安定している模様．
今後上記の検証を重ねていく．
また，昨年度は，これまでのSAM-SNNによるActor-Critic型強化学習の研究で得られた知見を国際会議ISNAIH2023にて成果発表を行った．主に国内の同分野の若手研究者と有益なディスカッションが可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナ感染症対策を理由とした教育業務増加の影響により本研究課題推進に全体的な遅れが生じた．
|
| Strategy for Future Research Activity |
最終年度に向けて，今後は次の２つの主な課題に取り組む．
第１の課題は，「目標到達タスク」の学習の不安定さのメカニズムをより詳しく解析し，不安定さを生み出す原因を解明する．要因は複数あると推測しており，学習をより安定させるために必要な条件を見出す．
第２の課題は，上記 SAM-SNNによるactor-critic型モデルを，想定アプリケーションとして筋電-ロボットハンド制御として，学習精度，推論精度などを明らかにし，アプリケーション適用性を検討する．状況をみて，Zynqプロセッサ(FPGA+ARM)開発ボードに実装・統合・動作検証を行う．回路規模，消費電力などを明らかにする．
筋電-ロボットハンド制御のSAM-SNNモデルとしては，入力に複数の筋電信号，出力に5指に相当する5つのactorニューロン＋1つのcriticニューロンとする．tとt+1 は，指を「曲げる」→「曲げ終わる」程度の時間間隔とする． 報酬信号は，「各指の動き」5つと，「全体の動き」1つで計6個とする．（「全体の動き」のみの報酬では，正しい指の動きの評価が難しいため，学習に膨大な時間がかかると予想される．そのため，5つの指別々に報酬信号を設定する（つまりほぼ教師信号のようなもの））．
研究STEPとして，MLP-RLモデルによるシミュレーション（STEP1），SAM-RLモデルによるシミュレーション・実装（STEP2）の2つのフェーズを考えている．それぞれで，筋電信号取得のタイミング，報酬信号の与え方，各種パラメータの知見を得る．SAM-RLでは，ソフトウエアシミュレーションとFPGA実装による制約の違いがあるため，Pythonのfloat版と，int版（FPGA（RTL）に準ずるもの（固定小数点数のビット幅制約ありのもの））の2つで実施する．
|
| Causes of Carryover |
新型コロナ感染予防対策による教育研究業務増加の影響により，本研究課題推進に全体的な遅れが生じた．
次年度は，成果発表のための経費（学会発表，論文投稿，出張旅費，国際会議参加登録費）として計画している．
|
