2020 Fiscal Year Annual Research Report
予測符号化ネットワークを用いたミラーニューロンシステムの数理モデル化とその解析
| Project/Area Number |
20J13556
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
田村 浩人 東京大学, 工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | リカレントニューラルネットワーク / リザバー計算 / 逐次教師あり学習 / FORCE学習 / Full-FORCE学習 |
|---|
| Outline of Annual Research Achievements |
本年度の計画は，PCRCモデルと呼ばれる予測符号化の数理モデルを基礎とし，ソングバードの歌の模倣の原理を例としてこれを階層型PCRCモデルに拡張し，最終的にはミラーニューロンシステムの数理モデル構築を行う，というものであった．しかし，本研究の基礎となるPCRCモデルの学習則であるFORCE学習について，大きく改良の余地があると判断したため，計画を変更し，本年度はこちらの解決に注力することとなった．
FORCE学習とは，リザバー計算モデルを対象とする逐次教師あり学習法の一つであり，収束が早い点や，出力部からのフィードバックを持つタイプのモデルにも安定して適用できる点などが評価されている．しかし，毎時刻サイズの大きなゲイン行列の更新を行わなければならないため，時空間ともに計算量を要する，といった欠点がある．
本研究では，ゲイン行列の学習をあらかじめ済ませておき(事前学習)，その後固定したゲイン行列を用いてモデルの学習を行う(主学習)，というTwo-step FORCE学習を開発した．この手法によって，主学習における計算量の削減や，学習のさらなる安定化が実現された．本手法についての解析結果を国際会議にて発表した．
並行して，FORCE学習を隠れ層の結合荷重もすべて学習の対象とする形に拡張した，Full-FORCE学習という近年提案された発展的手法の改良にも着手した．Full-FORCE学習は従来法に比べて収束の速さやノイズ耐性に優れており，PCRCモデルへの適用も期待される．一方でFull-FORCE学習は，モデル構造に強い仮定をおいていたため，学習性能に限界があった．そこで本研究では，その仮定を緩和したExtended full-FORCE学習を提案し，学習性能を向上させた．本手法についての解析結果を国内学会にて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の目標である階層型PCRCモデルの開発や，それを基にしたミラーニューロンシステムの開発には至っていないため，やや遅れていると判断した．
本年度の計画を大きく変更した理由は，基礎となるPCRCモデルの学習法として想定していたFORCE学習に問題があると判断し，こちらの解決に注力すべきだと判断したためである．
|
| Strategy for Future Research Activity |
本年度開発したTwo-step FORCE学習の欠点として，主学習で用いる入力や教師データを，事前学習でも使わなければならないという点がある．今後はこれを解決する新たな手法の開発を目指す．
並行して，本年度開発したExtended full-FORCE学習も，モデル構造やハイパーパラメータに未だ強い仮定をおいてしまっており，学習性能の向上が阻害されている．今後はこれらの仮定をさらに緩和した手法を開発し，学習性能の向上を目指す．
さらに，上記の学習手法を用いて，改めて階層型PCRCモデルやミラーニューロンシステムの数理モデルの構築を目指す．
|
