2022 Fiscal Year Annual Research Report
Efficient algorithm for sequential learning utilizing spontaneous internal activity
| Project/Area Number |
20K11987
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
寺前 順之介 京都大学, 情報学研究科, 准教授 (50384722)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 直毅 九州大学, 理学研究院, 教授 (10508956)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 脳 / シナプス / 確率 / サンプリング / 符号化 / ギブスサンプリング / ニューラルネットワーク / 学習 |
|---|
| Outline of Annual Research Achievements |
動物の脳内のニューロンとシナプスが示す自発的な確率的活動を利用する新たな学習アルゴリズムの定式化を完成させ、その動作特性、学習性能、学習後のニューラルネットワークの結合特性、学習後の忘却過程、学習されたネットワーク上でのニューロン活動の特性などについて、数値計算、理論解析、および実験的知見との比較検討を行い、それらの結果を査読付き原著論文として出版した。本アルゴリズムは、通常、ネットワーク内のシナプス結合強度の最適化として実装されるニューラルネットワークの学習を、最適化ではなく、ニューロンとシナプスを確率変数として記述した場合の、それらの確率変数の、外部環境あるいは提示データの条件下でのベイズ事後分布からのサンプリングであると考える点に特徴があり、そのサンプリング過程をギブスサンプリングとしてニューロンやシナプス自信が動的に実現していると考えることで、動物の脳の実験結果とも高い整合性を持つアルゴリズムの導出に成功したものである。さらにこの結果に基づき、ネッカキューブなどの多義図形をニューラルネットワークに提示した場合の近く交代現象についても理論解析を行い、知覚交代と呼ばれる人間の認知過程に類似する現象が得られることも発見し、その数理的解析も進めた。また、大脳皮質神経活動の大規模測定によって最近発見された神経細胞の冪則符号化と呼ばれる現象について、符号化の効率を定量的に評価可能なフィッシャー情報量の解析的を求め、その特性を数理的に明らかにすることによって、臨界的な冪指数が存在し、その指数での符号化が最適になること、またその冪指数が実験的報告と一致することを示すことにも成功した。
|
