• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Computing based on pseudo-billiard dynamics in hypercube and its applications

Research Project

Project/Area Number 20H04258
Research InstitutionFuture University-Hakodate

Principal Investigator

香取 勇一  公立はこだて未来大学, システム情報科学部, 教授 (20557607)

Co-Investigator(Kenkyū-buntansha) 田向 権  九州工業大学, 大学院生命体工学研究科, 教授 (90432955)
森江 隆  九州工業大学, 大学院生命体工学研究科, 特任教授 (20294530)
Project Period (FY) 2020-04-01 – 2024-03-31
Keywordsニューラルネットワーク / レザバー計算 / 感覚情報処理 / 運動制御
Outline of Annual Research Achievements

2022年度は,超立方体上の疑似ビリヤード・ダイナミクスを用いた計算機構(超立方体計算)について,応用先の探索を進め,実装研究に着手した.特に予測符号化とレザバー計算を組み合わせた感覚情報処理モデル,強化学習とレザバー計算を組み合わせた運動制御モデル,またレザバー計算に基づく感覚情報処理と運動生成を組み合わせた統合情報処理モデル,さらにこれらのモデルを超立方体計算の枠組みに実装する研究を進めた.
まずレザバー計算に基づく強化学習と予測符号化のモデルを統合した統合情報処理モデルを提案した.このモデルでは,感覚入力の予測と行動価値の推定を単一のレザバーからの読み出しにより行う.行動価値の学習は報酬に基づき行われる.また予測層の学習は予測の最小化の基準に基づいて行われる.このモデルは,強化学習タスクに利用できることに加えて,予測符号化により環境の変化を予測するメンタル・シミュレーションを実現する.このメンタル・シミュレーションによる行動計画の機構を2次元ロボットシミュレータ環境上で検証し,その有効性を確認した.
効率的なレザバーハードウェアの実現が見込まれる超立方体計算レザバーをデジタル回路(FPGA)で実装し,その性能評価を行った.まず音声認識タスクにより,このレザバーの性能評価を行った.このタスクでは,数字の発話音声の時系列をコクリアグラムに変換し,それをレザバーへの入力とした.レザバーからの読み出しにより,0~9の数字に対応をするラベルを出力する.この数字の発話認識において認識性能が97%程度になることを確認した.さらにレザバー強化学習モデルを実装し,その評価を進めた.連続空間上の移動ロボットタスクにおいて,その基本的な動作の確認を行うことができた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

様々なネットワークモデルを構築し,その有効性を確認することが出来た,また基本的なハードウェア実装も進めることができたため,研究は順調に進展しているといえる.今後の課題は,実問題・実応用に含まれる問題の複雑さ難しさに対応するための詳細な検証となる.

Strategy for Future Research Activity

最終年度は,超立方体計算の理論・応用・実装の各側面でさらに研究を深化させると同時に,それらを融合し,研究を総括する.
超立方体計算の理論では,記憶容量を大きくするための理論モデルの再構築と数値シミュレーションによる検証を進める.レザバー計算を中心とする情報処理の拡充と性能を明らかにする.ネットワーク構造やレザバーの持つパラメータとレザバーの性能の対応関係を解析する.
応用では,これまでに構築した感覚運動制御用ネットワークをさらに発展させる.強化学習のネットワークモデルを構築し,各種タスクに応用しその性能を明らかにする.また心的シミュレーションによる学習効率化と行動計画のモデルの精緻化を行う.ここで実環境における情報処理のための見積もりを立て,得られた知見を実機のロボットなどの開発に反映させる.
デジタル集積回路(FPGA)を用いて,必要な情報処理を実現するための数値表現の精度や非線形関数の近似精度を調べる.またネットワーク構造や諸パラメータ値の設定について最適な値を見積もる.また構築したロボットに搭載して活用することができる.さらにアナログ回路による超立方体計算の実装と応用も進める.

  • Research Products

    (18 results)

All 2023 2022

All Presentation (18 results) (of which Int'l Joint Research: 12 results,  Invited: 1 results)

  • [Presentation] Exploring influences of modular structure on time series generation performance in reservoir computing2023

    • Author(s)
      Y. Ishikawa, Y. Katori, H. Yamamoto, H. Kato, T. Sumi, T. Shinkawa
    • Organizer
      The 11th RIEC International Symposium on Brain Functions and Brain Computer(BFBC2023)
    • Int'l Joint Research
  • [Presentation] レザバーアクタークリティックモデルによるロボットの連続値制御2023

    • Author(s)
      湊宏太郎,香取勇一
    • Organizer
      ニューロコンピューティング(NC)研究会
  • [Presentation] スパイキングニューロンモデルによる培養神経系のリザバー計算の性能評価2023

    • Author(s)
      石川慶孝,新川拓海,住拓磨,加藤秀行,山本英明,香取勇一
    • Organizer
      ニューロコンピューティング(NC)研究会
  • [Presentation] Information representations obtained by reward-modulated reservoir computing with short-term synaptic plasticity2023

    • Author(s)
      Jin Nakamura, Yuichi Katori
    • Organizer
      The 11th RIEC International Symposium on Brain Functions and Brain Computer(BFBC2023)
    • Int'l Joint Research
  • [Presentation] Mental simulation using reservoir computing for solving control tasks of deterministic systems2023

    • Author(s)
      Yoshihiro Yonemura, Yuichi Katori
    • Organizer
      The 11th RIEC International Symposium on Brain Functions and Brain Computer(BFBC2023)
    • Int'l Joint Research
  • [Presentation] Reservoir Computing Models for Integrating Sensory Processing and Motor Control2023

    • Author(s)
      Yuichi Katori
    • Organizer
      The 11th RIEC International Symposium on Brain Functions and Brain Computer(BFBC2023)
    • Int'l Joint Research
  • [Presentation] Construction and Analysis of a Computational Model of Motion Planning Based on Reward-Modulated Reservoir Computing with Short-term Synaptic Plasticity2022

    • Author(s)
      Jin Nakamura and Yuchi Katori
    • Organizer
      Neuro2022
    • Int'l Joint Research
  • [Presentation] Reservoir Based Reinforcement Learning Model with Pseudo-Billiard Dynamics in Hypercube2022

    • Author(s)
      Yamato Sakino, Hakaru Tamukoh, Takashi Morie, and Yuichi Katori
    • Organizer
      Neuro2022
    • Int'l Joint Research
  • [Presentation] Short-term memory ability of reservoir-based temporal difference learning model in partially observable Markov decision process2022

    • Author(s)
      Yu Yoshino and Yuichi Katori
    • Organizer
      Neuro2022
    • Int'l Joint Research
  • [Presentation] Visual Predictive Coding Model with Reservoir Computing for Reinforcement Learning Tasks in 3D Environment2022

    • Author(s)
      Tomohito Izumi and Yuichi Katori
    • Organizer
      International Symposium on Nonlinear Theory and Its Applications (NOLTA2022)
    • Int'l Joint Research
  • [Presentation] Online Reinforcement Learning on Reservoir Based Actor-Critic Model with Gibbs’s Policy2022

    • Author(s)
      Tatsuro Nagai and Yuichi Katori
    • Organizer
      International Symposium on Nonlinear Theory and Its Applications (NOLTA2022)
    • Int'l Joint Research
  • [Presentation] Mental simulation on reservoir computing as an efficient planning method for mobile robot navigation2022

    • Author(s)
      Yoshihiro Yonemura and Yuichi Katori
    • Organizer
      International Symposium on Nonlinear Theory and Its Applications (NOLTA2022)
    • Int'l Joint Research
  • [Presentation] 感覚・運動情報処理を行う脳のリザバー計算モデル2022

    • Author(s)
      香取勇一
    • Organizer
      令和4年度第三回ブレインウェア工学研究会
    • Invited
  • [Presentation] 大脳皮質に倣った動的予測符号化ネットワークモデル2022

    • Author(s)
      香取勇一
    • Organizer
      第83回応用物理学会秋季学術講演会シンポジウム
  • [Presentation] カオスボルツマンマシンとそのレザバー応用および超低消費電力型LSIの開発2022

    • Author(s)
      野村 修, 森江 隆, 田向 権, 川島 一郎, 中原和勇, 香取 勇一
    • Organizer
      電気学会 電子・情報・システム部門大会
  • [Presentation] Performance Evaluation of a Reservoir Reinforcement Learning Model Considering Nonlinear Write Characteristics of Analog Memory2022

    • Author(s)
      K. Tamai, Y. Katori, H. Tamukoh, O. Nomura, T. Morie
    • Organizer
      The 4th International Symposium on Neuromorphic AI Hardware
    • Int'l Joint Research
  • [Presentation] Evaluation of Modular Reservoirs Using Chaotic Boltzmann Machines2022

    • Author(s)
      K. Nakahara, Y. Katori, O. Nomura, H. Tamukoh, T. Morie
    • Organizer
      The 4th International Symposium on Neuromorphic AI Hardware
    • Int'l Joint Research
  • [Presentation] アナログメモリの非線形書き込み特性を考慮したリザバー強化学習モデルの性能評価2022

    • Author(s)
      玉井 克典, 田向 権, 香取 勇一, 野村 修, 森江 隆
    • Organizer
      第83回応用物理学会 秋季学術講演会

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi