2017 Fiscal Year Annual Research Report
Elucidation of the Mathematical Basis and Neural Mechanisms of Multi-layer Representation Learning
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
16H06563
|
|---|
| Research Institution | Okinawa Institute of Science and Technology Graduate University |
|---|
Principal Investigator |
銅谷 賢治 沖縄科学技術大学院大学, 神経計算ユニット, 教授 (80188846)
|
|---|
| Project Period (FY) |
2016-06-30 – 2021-03-31
|
| Keywords | ディープラーニング / 強化学習 / モジュール自己組織化 |
|---|
| Outline of Annual Research Achievements |
1) 多階層表現学習の数理基盤：ディープラーニングを強化学習に用いる場合に、学習の安定性を保証しながらデータ効率を改善するため、Conservative Value Iterationと呼ぶあらたな学習アルゴリズムを提案し、その収束速度の数理解析を行った。それをもとにサンプルノイズや近似誤差のもとで安定に効率良い探索と学習が可能なパラメタ設定をシミュレーション実験により明らかにした。
2) 多階層表現学習の神経機構：大脳基底核での情報表現の獲得機構を明らかにするため、線条体の異なるコンパートメントの細胞を区別した光学神経活動計測実験を行った結果、行動学習の進行にともないストライオソームの細胞が報酬予測的な応答を獲得することを明らかにし論文発表を行った。大脳皮質と大脳基底核の各領域の情報表現の違いを明らかにするため、強化学習課題中のラットの神経活動計測データに対してタスクレベル、空間レベル、身体運動レベルの変数による回帰分析を行い、多層的な情報表現の局在を解析した。
3) 全脳レベルのモジュール自己組織化：大脳皮質の神経回路において、ボトムアップの感覚情報とトップダウンの予測情報が統合されるメカニズムを明らかにするため、マウスにレバーの微小な動きを識別させ操作を行わせる新たな行動課題を開発し、それを実行中のマウス大脳皮質の異なる層の神経活動をプリズム内視鏡を用いて同時計測する実験を開始した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1) 多階層表現学習の数理基盤：学習の安定性を保ちつつデータ効率を上げる新たな強化学習アルゴリズムについての国際学会論文の投稿を行った。
2) 多階層表現学習の神経機構：大脳基底核の線条体のストライオソームのニューロンが、報酬予測に関わる活動を示すという知見についてeNeuro誌に論文発表を行った。
3) 全脳レベルのモジュール自己組織化：マウスの新たな行動課題と光学神経活動記録システムが立ち上がり、計測実験を開始した。
|
| Strategy for Future Research Activity |
1) 多階層表現学習の数理基盤：提案した新たな学習アルゴリズムが、ディープネットワークとの組み合わせのもとで安定に効率よく動作することをAtariゲームなどの課題で実証する。
2) 多階層表現学習の神経機構：階層強化学習モデルにラットやマウスが行うのと同じ行動課題を学習させ、そこで獲得される情報表現を大脳皮質と大脳基底核の神経活動データと比較し解析を行う。
３）全脳レベルのモジュール自己組織化：大脳皮質でのボトムアップの感覚情報とトップダウンの予測情報が統合されるメカニズムについての光学神経活動計測実験を進め、一次感覚野の各層の動的な情報表現の違いを明らかにする。
|
