2019 Fiscal Year Annual Research Report
Creation of novel paradigms to integrate neural network learning with dendrites
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
19H04994
|
|---|
| Research Institution | Okinawa Institute of Science and Technology Graduate University |
|---|
Principal Investigator |
深井 朋樹 沖縄科学技術大学院大学, 神経情報・脳計算ユニット, 教授 (40218871)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | ２コンパートメントモデル / 正則化情報損失最少化 / 時間的特徴検出 / チャンク / 音源分離 / クルバック・ライブラー発散 / 時系列学習理論 |
|---|
| Outline of Annual Research Achievements |
入力の時間的構造を学習する新しい数学的原理（正則化情報損失の最少化）を提案し、細胞体と樹状突起から成る２コンパートメントモデルに実装した。このモデルが入力スパイク列中に繰り返し出現するパターンを、教師なしに学習できることを示した（Asabuki & Fukai, Nat Comm, 2020)。樹状突起は外部入力を受け、入力の総和の時間平均値を細胞体に送り、細胞体はこの入力に駆動されて発火する。提案した学習則は、２つの独立した樹状突起と細胞体が、相互に応答の整合性をチェックすることにより作動する。２つのコンパートメントの活動状態の確率分布関数のKL発散を最少化することにより、樹状突起が予測した細胞体の活動パターンと、実際の活動パターンの誤差を統計的に最少化できるが、これを実現するためには、樹状突起が入力に潜む繰り返し構造を選択的に学習して抽出する必要がある。この原理を実装したニューロンモデルの競合回路は、チャンクの学習や信号源分離など、驚くほど多様な入力の時間的特徴の学習と解析に教師なしで適用できることを示した。次に、事象の時系列から順序情報を抽出し、引き込み状態の空間的相関構造に埋め込む学習モデルを構築した（Haga & Fukai, PRL 2020）。脳が文脈に応じて適切な記憶を選択的に素早く想起するプロセス、またそれを可能にする記憶形成のメカニズムの解明は、AIの発展に於いても次の重要なステップと考えられている。提案モデルの新奇性は、興奮性シナプス入力と２タイプの抑制性シナプス入力のバランスを調節することにより、関連付けが可能な事象の時間的隔たりを広範囲に調節可能なことである。現状のモデルは樹状突起を持たないが、大脳皮質では、異なる種類の抑制性細胞が樹状突起の異なる部位に投射することが知られており、この記憶メカニズムへの樹状突起の関与が示唆される。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
神経科学のデータ解析にAIを応用することは、技術的課題は多々あるが、方法論的には自然な考えであり、概念的には難しい飛躍を必要としない。そこで生起する困難は解析手法の新規開発や改良に伴うものが主で、技術的に解決可能かどうかは別であるが、解決すべき問題の中身自体は明確になっている場合が多い。一方で、神経科学から得られた知見をAIの発展に資するためには、どのような生物学的知見が、どのような課題の解決に役立つかと言った、正解に行き着く道筋はおろか、正解が存在するのかさえわからない概念的問題に取り組むことが求められる。樹状突起については、生物学的に忠実なモデルは多数存在し、またシナプス入力和の超線形性など、単純な計算プロセスを説明するモデルは存在したが、今回提案したようなかなり高度な時系列解析をこなせる樹状突起計算のモデルは存在しなかった。またこのモデルにより、ブラインド音源分離の問題に、従来の独立成分分析に基づく解法とは異なる、新しい計算原理に基づく解を与えることができた。この学習原理は皮質神経細胞に見られる逆伝搬スパイクの機能を抽象的に模したものと見ることができるが、生物学的メカニズムについてはそれ以上理解が進んでいない。ただし、シナプス学習に対し明確な数学的原理を与えたことにより、樹状突起を持たないニューロンモデルから成る、ごく一般的な回路モデルにも学習原理が適用可能になった。これらのことと、次に述べるような多彩な発展が見込まれることから、研究は当初の計画以上に進んでいると考える。
|
| Strategy for Future Research Activity |
現実のニューロンは２コンパートメントでは記述できないため、学習原理をマルチコンパートメントモデルに拡張する必要がある。これについては、既にモデル化の大筋の方策は得られており、今後、実際にモデルをシミュレーションして、どのような計算機能を発揮するか確認する段階に差しかかっている。大雑把に言えば、細胞体と大もとの樹状突起の間に正則化情報損失原理を適用し、得られたKL発散の値を樹状突起の分岐を通じて逆伝搬することで、樹状突起末端のシナプスを順次修正しようというものである。本年度の夏の終りまでには研究の目処を立てたい。またリカレントシナプス結合をどのように計算に用い、どのように訓練するかを明らかにすることも重要な課題である。この点については、AI分野で用いられているLong Short-Term Memory (LSTM)ネットワークモデルを参考にしながら、モデルの拡張を進めている。準備研究の結果からは、リカレントシナプス入力を樹状突起のシナプス学習の制御に利用するようにすると、時系列解析の性能に向上が見られることがわかってきた。ただし、この方策の生物学的妥当性は、若干検討を要するだろう。なお、余力があれば、考案した２コンパートメントモデルを、現実の神経細胞集団から記録した多細胞スパイク時系列の特徴解析に用いて、データ解析における有用性も示したい。相関アトラクターを有する記憶回路モデルに関して、リカレントシナプス結合を工夫することにより、樹状突起を持たない単純なニューロンモデルのネットワークレベルの計算に依り、空間情報のセグメント化が可能なことがわかってきた。シミュレーションで確認していないが、時間的入力のセグメント化も原理的には可能なはずである。この研究結果を理論的に詰めるとともに、大関グループとの共同研究により、言語解析に応用できるか試したい。
|
| Remarks |
意思決定の個体差に関わる神経動力学のノイズ感受性 (p20-21)
新学術領域研究（2016-2020年度）人工知能と脳科学の対照と融合ニュースレター Vol.6
http://www.brain-ai.jp/wp-content/uploads/2019/11/newsletter06.pdf
|
