2017 Fiscal Year Annual Research Report
A Study on Space / Sound Perception by Using Generative Deep Learning Systems
Publicly Offered Research
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
17H06024
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
池上 高志 東京大学, 大学院総合文化研究科, 教授 (10211715)
|
|---|
| Project Period (FY) |
2017-04-01 – 2019-03-31
|
| Keywords | 深層学習 / GAN / 位置細胞 / 音 / 潜在空間 |
|---|
| Outline of Annual Research Achievements |
生成モデルの深層学習の一つであるDCGAN(Deep Convolutional Generative Adversarial Network)を用いて、一人称視点で撮影された動画データ・セットを用いて、場所の時間的な変遷が内部状態空間にエンコードされることを示し、さらにVAEGAN(Variational AutoEncoder +GAN)という手法を用いることで、place cell的なニューロンをGANの潜在空間上に生成することができた。
また同様にDCGANを用いて、音色生成のシステムを構築した。これは、単色の音の入力列をフーリエスペクトラムを生成して入力するが、GANの性質から新しい音の周波数と音色が生成されうることを示した。これらはともに潜在空間のエンコードの複雑さに注目した研究で、深層学習の研究ではあまり成果のないところであり、注目される。特に、動画データセットの場合には、位置細胞としてのエンコーディングと対応つけることができ、それは深層学習のモデルと実際の脳の構造を結びつけるヒントとなるという意味で評価される。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は、当初見込んだように深層学習の中でもGANを用いることで、データセットの貧弱さとは関係のない、複雑な学習が可能である。この生成系であることが脳の知覚の本質であるということを明らかにしようという点では、予想したとおりである。
|
| Strategy for Future Research Activity |
今後の予定としては、DCGANであると、入力データの間の近さが潜在空間に反映されないので、別な生成系を用いることが必要である。それを用いて、潜在空間の中のコーディングを考察する必要がある。また、音の生成の場合には、より生成系の能力を上げることが必要である。音色の多様性がまだ足りていない。
|
Research Products
(9 results)
-
-
-
-
[Journal Article] Learning by Stimulation Avoidance in Cultured Neuronal Cells2017
Author(s)
Masumori, A., Maruyama, N., Mita, T., Bakkum, D., Frey, U., Takahashi, H.,& Ikegami, T.
-
Journal Title
Proc of the 2nd International Symposium on Swarm Behavior and Bio-Inspired Robotics (SWARM 2017)
Volume: -
Pages: 279-286
Peer Reviewed / Int'l Joint Research
-
-
-
-
-
