• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

海馬-嗅内皮質モデルに基づくエピソード記憶を用いた強化学習と集積回路化

研究課題

研究課題/領域番号 23KJ1755
研究種目

特別研究員奨励費

配分区分基金
応募区分国内
審査区分 小区分61040:ソフトコンピューティング関連
研究機関九州工業大学

研究代表者

宍戸 優樺  九州工業大学, 大学院生命体工学研究科, 特別研究員(DC1)

研究期間 (年度) 2023-04-25 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
3,000千円 (直接経費: 3,000千円)
2025年度: 1,000千円 (直接経費: 1,000千円)
2024年度: 1,000千円 (直接経費: 1,000千円)
2023年度: 1,000千円 (直接経費: 1,000千円)
キーワード集積回路実装 / ロボット実装 / 海馬モデルの改良
研究開始時の研究の概要

本研究では海馬のエピソード記憶を用いた学習手法と未知環境での自律学習手法である強化学習に着目し,海馬-嗅内皮質モデルに基づくエピソード記憶を用いた強化学習モデルの提案する.既存の強化学習のようにランダムな試行錯誤によって学習するのではなく,過去に得られた経験を基に効率的に探索することで,少ない経験から自律学習可能なアルゴリズムを実現する.提案した海馬嗅内皮質モデルと強化学習モデルを不揮発性アナログメモリを用いたアナログ集積回路として実装し,エッジにおける低消費電力で高効率な脳型AIハードウェアの実現を目指す.

研究実績の概要

当該年度は主に,メモリベース海馬モデルのVLSI実装・測定,ロボット実験を実施した.また,メモリベース海馬モデルを改良し,VLSI実装とモデルの運用両面において有効な手法を提案した.
メモリベース海馬モデルはVLSI実装に向けて簡略化された海馬モデルで,場所情報とイベント情報を統合・記憶可能な海馬モデルである. VLSI実装においては,アナログ回路とディジタル回路を併用し,ディジタル・アナログ両方のインメモリコンピューティングアーキテクチャを採用することによって,22TOPS/Wと学習機能を持つAI回路としては高い演算効率をCMOSのみで実現した.試作したチップをロボットに搭載し,家庭内の環境を模したフィールドで実験を行った.結果として、ロボットが環境内で遭遇したイベント(オブジェクト)をチップに記憶し、読み出すことで、過去の経験をもとにオブジェクトを探すことができた.以上の成果を論文にまとめ,International Joint Conference on Neural Networks(IJCNN)にて発表する(アクセプト済).
VLSI実装したメモリベース海馬モデルはメモリセルの使用効率が悪いという問題が存在する.モデルをホームサービスロボットに搭載し,家庭や介護現場で利用する場合にも,記憶する解像度を変えることができないためタスクに柔軟に対応することが困難である.また,記憶する空間を拡張することができない.そこで,メモリを効率よく使用し,タスクに応じて柔軟な空間解像度を実現するための手法を提案した.チップを用いた実験では,広い空間へのモデル適用と高い空間解像度を両立しながら,従来の1/4のメモリセル数でタスクを実現した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

メモリベース海馬モデルにおいて,place cell やcue cell, conjunctive cellの機能はconjunctive cue-place cells layerという2次元構造のメモリで模擬・統合されている.また,海馬の場所細胞の受容野のように,単にイベントやオブジェクトの位置を記憶・表現するのではなく,ガウス分布のように空間的に広げることで,場所に関する情報を一般化し,位置ずれに対する頑健性を確保している(神経活動パケット).VLSI実装にあたって,conjunctive place-cue cell(メモリセル)はシフトレジスタから構成される記憶部とスイッチ付き電流源から構成される読み出し部で実装した.シフトレジスタの特性を用いたディジタル・インメモリコンピューティングによって,メモリセル内部で保持している値と追加で書き込まれた値同士を加算することができる.また,記憶値を電流として読み出すことによって,異なるレイヤ同士の神経パケットの値を電流加算し,読み出すことができる(アナログインメモリコンピューティング).ディジタル・アナログ両面のインメモリコンピューティングアーキテクチャによって22TOPS/Wと学習機能を持つAI回路としては高い演算効率を実現した.試作したチップをロボットに搭載し,家庭内の環境を模したフィールドで実験を行った.結果として、ロボットが環境内で遭遇したイベントをチップに記憶し、読み出すことで、過去の経験をもとにオブジェクトを探すことができた.
メモリベース海馬モデルの改良については,これまで全てのレイヤが同じ空間を記憶していたため,これを変更しレイヤ毎に異なる空間を記憶するようにモデルを改良した.チップを用いた実験では,広い空間へのモデル適用と高い空間解像度を両立しながら,従来の1/4のメモリセル数でタスクを実現した.

今後の研究の推進方策

計画では初年度は,海馬モデルの開発と強化学習モデルの開発を行う予定であった.しかし,研究を進めていくうちに問題点が明らかになったため計画を変更した.まず,時間細胞を組み込む予定であった海馬モデルが8の字迷路に特化していたという点である.8の字迷路は生理学実験で用いられるベンチマークタスクであり,これをベースにモデルを評価すると記載したが,AIが人間と協調し家事や介護をサポートすることを考えると,より複雑なタスクが要求される.時間細胞を組み込む予定であった海馬モデルは複雑なタスクへの拡張が困難であるため計画を変更した.まずはエピソード記憶のうち,空間情報とイベント情報に絞り,それらを統合可能な海馬モデルであるメモリベース海馬モデルをVLSI実装し,ロボット実装・実験を行った.また,メモリベース海馬モデルとレザバー強化学習を組み合わせ、モリス水迷路を模したベンチマークタスクでシミュレーションを行ったが,報酬までの経路をうまく学習することが出来なかった.強化学習と組み合わせるうえでも時間情報の再現は必須であると考えられる.次年度は今回VLSI実装したメモリベース海馬モデルを基に,時間情報を再現可能な海馬モデルを提案する.当該年度に実装したconjunctive place-cue cellはセル回路内部で加算動作は可能であったが,減算動作は未実装であった.本年度はセル回路を改良し,減算にも対応したインメモリコンピューティング回路を実現する.減算機能は脳の忘却機能に対応し,不必要な記憶を消去・整理することで効率的にメモリを使用することができる.また,単純なイベント表現に絞れば減算機能を用いることでイベント間の時間関係を表現することが可能である.また,時間情報を含むエピソード記憶とレザバー強化学習を組み合わせることで,学習能力が改善可能であることをシミュレーションで確かめる.

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (3件)

すべて 2024 2023

すべて 学会発表 (3件) (うち国際学会 1件)

  • [学会発表] An Efficient Spatial Representation Method for Memory-based Hippocampus-inspired Model2024

    • 著者名/発表者名
      Yuka Shishido, Osamu Nomura, Katsumi Tateno, Hakaru Tamukoh, Takashi Morie
    • 学会等名
      The 5th International Symposium on Neuromorphic AI Hardware
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 海馬機能を模倣したディジタル・アナログ併用脳型メモリ回路コア2023

    • 著者名/発表者名
      宍戸 優樺,野村 修,立野 勝巳,田向 権,森江 隆
    • 学会等名
      LSIとシステムのワークショップ2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 海馬機能を模倣したディジタル・アナログ併用脳型メモリ回路コア2023

    • 著者名/発表者名
      宍戸 優樺
    • 学会等名
      d.lab-VDECデザイナーズフォーラム2023
    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-26   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi