A Study on Space / Sound Perception by Using Generative Deep Learning Systems

• Project Area: Correspondence and Fusion of Artificial Intelligence and Brain Science
• Project/Area Number: 17H06024
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: The University of Tokyo
• Principal Investigator: 池上 高志 東京大学, 大学院総合文化研究科, 教授 (10211715)
• Project Period (FY): 2017-04-01 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000); Fiscal Year 2018: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000); Fiscal Year 2017: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
• Keywords: 深層学習 / 位置細胞 / 潜在空間 / 時間圧縮 / VAE / GAN / キーワード１ / 音 / ソフトコンピューティング / 人工知能 / 脳科学

Outline of Annual Research Achievements

空間内を移動することで得られる感覚入力によって学習を行うことで、生成系の深層学習の潜在変数空間において獲得する構造を調べた。そのために３次元の仮想環境を作成し、この中を動くことで得られる視覚入力としてデータセットを構成した。
生成系の深層学習としては、Variational Autoencoder(VAE)に加え、VAEとDCGANの学習を同時に行うVAE-GANを用いておこなった。Hilbert Space Independence Criterion(HSIC)という手法を用いて、実際の位置座標と潜在変数空間へのマッピングの独立性を測ることで、定量的な評価をおこない、それによって、学習の結果できあがる潜在変数空間に、仮想環境における空間の構造が反映されていることを確認した。
さらに、VAEにおいて先のフレームを予測するように学習させることで、空間内を動くことで得られる画像のtrajectoryを再構成しうることがわかった。この生成の過程は力学系となっていて決定論的なシステムであるが、仮想空間内を移動する際に、分岐点で確率的に異なる方向に進むようなデータセットを用いた場合、得られるtrajectoryがカオス的になり、それによってこの確率的な振る舞いを再現できる場合があることを見出した。
このように内部的に生成された画像の時系列において、時間の圧縮が見られることを見つけた。海馬においては、経験したtrajectoryを脳内でたどり直す、Replayという現象が起こっており、その際時間の圧縮が起こること、またその圧縮はどこでも同じではなく、非一様に行われることが知られている。このメカニズム、とくに圧縮率の非一様性の起源はまだわかっておらず、この結果は、この現象の新たなメカニズムを示す可能性がある。

Research Progress Status

平成30年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

平成30年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Brain Equation and Personogenesis (2019)
  • Author(s): Otto E Rossler, Lisa-Ruth Vial, Frank Kuske, August Nitschke, Takashi Ikegami, Andrei Ujica
  • Journal Title: Clinics in Pediatrics Volume: 2 Pages: 1011-1011
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Autonomous Regulation of Self and Non-Self by Stimulation Avoidance in Embodied Neural Networks (2018)
  • Author(s): Masumori Atsushi、Sinapayen Lana、Maruyama Norihiro、Mita Takeshi、Bakkum Douglas、Frey Urs、Takahashi Hirokazu、Ikegami Takashi
  • Journal Title: Proc. of the Artificial Life Conference 2018 Volume: 30 Pages: 163-170
  • DOI: 10.1162/isal_a_00037
  • Peer Reviewed
• [Journal Article] A new design principle for an autonomous robot (2017)
  • Author(s): Doi Itsuki、Ikegami Takashi、Masumori Atsushi、Kojima Hiroki、Ogawa Kohei、Ishiguro Hiroshi
  • Journal Title: Proc of the 14th European Conference on Artificial Life (ECAL2017) Volume: 29 Pages: 490-466
  • DOI: 10.7551/ecal_a_080
  • Peer Reviewed
• [Journal Article] Online fitting of computational cost to environmental complexity: Predictive coding with the ε-network (2017)
  • Author(s): Sinapayen Lana、Ikegami Takashi
  • Journal Title: Proc of the 14th European Conference on Artificial Life (ECAL2017) Volume: 29 Pages: 380-387
  • DOI: 10.7551/ecal_a_065
  • Peer Reviewed
• [Journal Article] Learning by stimulation avoidance scales to large neural networks (2017)
  • Author(s): Masumori Atsushi、Sinapayen Lana、Ikegami Takashi
  • Journal Title: Proc of the 14th European Conference on Artificial Life (ECAL2017) Volume: 29 Pages: 275-282
  • DOI: 10.7551/ecal_a_048
  • Peer Reviewed
• [Journal Article] Learning by Stimulation Avoidance in Cultured Neuronal Cells (2017)
  • Author(s): Masumori, A., Maruyama, N., Mita, T., Bakkum, D., Frey, U., Takahashi, H.,& Ikegami, T.
  • Journal Title: Proc of the 2nd International Symposium on Swarm Behavior and Bio-Inspired Robotics (SWARM 2017) Volume: - Pages: 279-286
  • Peer Reviewed / Int'l Joint Research
• [Presentation] Autonomous Regulation of Self and Non-Self by Stimulation Avoidance in Embodied Neural Networks (2018)
  • Author(s): Masumori Atsushi
  • Organizer: Artificial Life Conference 2018
  • Int'l Joint Research
• [Presentation] 身体化されたニューラルネットワークにおける自律的な内と外の境界の規定 (2018)
  • Author(s): Masumori Atsushi
  • Organizer: 人工知能学会全国大会2018
• [Presentation] A new design principle for an autonomous robot (2017)
  • Author(s): Doi Itsuki
  • Organizer: 14th European Conference on Artificial Life (ECAL2017)
  • Int'l Joint Research
• [Presentation] Online fitting of computational cost to environmental complexity: Predictive coding with the ε-network (2017)
  • Author(s): Sinapayen Lana
  • Organizer: 14th European Conference on Artificial Life (ECAL2017)
  • Int'l Joint Research
• [Presentation] Learning by stimulation avoidance scales to large neural networks (2017)
  • Author(s): Masumori Atsushi
  • Organizer: 14th European Conference on Artificial Life (ECAL2017)
  • Int'l Joint Research
• [Presentation] DCGANの作る仮想世界と現実空間のMap (2017)
  • Author(s): 小島 大樹
  • Organizer: 人工知能学会全国大会2017
• [Presentation] Video Compression with a Predictive Neural Network (2017)
  • Author(s): Sinapayen Lana
  • Organizer: 人工知能学会全国大会2017