Acquisition of Mathematical Concepts Through Neural Integration of Synchronic Informations in Cognitive Experiences

2020 Fiscal Year Annual Research Report

• Project Area: Studies of Language Evolution for Co-creative Human Communication
• Project/Area Number: 20H05005
• Research Institution: Oita University
• Principal Investigator: 末谷 大道 大分大学, 理工学部, 教授 (40507167)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Keywords: 数学の認知科学 / 深層学習 / リザバーコンピューティング / 正準相関分析

Outline of Annual Research Achievements

本課題では、複雑系科学の観点から、感覚-運動ループを持つ神経回路網のダイナミクスとして数学的な概念が実際に獲得できるかを探るために、基本的な認知能力を持つ複数の神経回路網が各々の中間層を共有するモデルを構築することを目指している。そして 、Lakoffらが指摘する基本的な認知活動を各々のニューロン群に入力として同時に与え、共時的に経験する異種感覚モダリティの統合から、数およびそれらの算術操作概念に対応するダイナミクスがどのように自己組織化されるのか探求する。
本年度では、AlexNetやGoogLeNetなどの画像認識系の深層学習モデルに対して、大きさと配置位置をランダムにした複数の図形を視覚的に提示した際に、「数」について不変な特徴が抽出できるのか探索を行った。神経活動をt-SNEなどの多様体学習を用いて低次元空間に可視化したところ、深層学習モデルをカスタムで学習した場合は判別能力は高いものの数の順序を反映した構造は現れなかった。一方で、まず多数の一般の物体画像で学習したモデルを用いて上記物体刺激の転移学習をさせると、１を除いて２、３、４...と順序を反映した神経活動がt-SNEの空間に現れることがわかった。
また、実際の異なる認知経験の共時的な統合問題として、視覚的な物体提示と音の提示を同時に行い、互いに教師とする学習によって空間を学習できるかという問題に取り組み始めた。本年度はその認知刺激を作成するための基礎データを採取した。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本年度の研究で「ものの数」に関する多くの視覚経験に対する深層学習から個数の多少を反映した構造が現れたが、大きさや個数、順序関係からさらに抽象化された「数」としての認識が起きるためには、別の認知経験との共時的な経験が必要である。本課題は元々その部分を目指していたが、本年度はモデルの実装までには至らなかったため。また、学会発表などを行うこともできなかったため。

Strategy for Future Research Activity

多変量解析の一つである正準相関分析の深層学習版とリザバー計算を参考に、複数の同時的な認知経験（例えば「ものを数える経験」と「ものの大きさを測る経験」）が互いに互いを学習し合うモデルを構築し、数認識の発生の問題に取り組む。同時に、昨年度からデータを取り始めている視覚と聴覚の同時的経験からの空間の学習についても、立体音響などの知見を取り入れながら進める。数学の基盤である「数」と「空間」がどのように神経回路のダイナミクスとして立ち現れるか探究する。