2018 Fiscal Year Annual Research Report
Emergence of Grammar in Imitation Learning using Deep Learning
Publicly Offered Research
| Project Area | Studies of Language Evolution for Co-creative Human Communication |
|---|
| Project/Area Number |
18H05057
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
飯塚 博幸 北海道大学, 情報科学研究科, 准教授 (30396832)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 敵対的模倣学習 / ニューラルネットワーク / カオス / 文法 |
|---|
| Outline of Annual Research Achievements |
初年度には，申請書の計画の通り，金子らのモデルを参考に，ロジスティック写像を深層ニューラルネットワークに置き換えたモデルを構築した．金子らのモデルでは，１つの集団内において各個体が他の個体よりも歌の真似ができるようにパラメータを進化させたが，構築したモデルでは，ニューラルネットワークによってモデル化された2個体が歌を歌いあう．各個体は相手の歌を真似する学習と，相手から真似されないように歌う学習をする．つまり，自分だけ相手を真似できて相手からは真似されない学習を行う．本研究ではこの学習を敵対的模倣学習と呼ぶ．学習では，深層ニューラルネットワークから生成された歌時系列の二乗誤差を計算し，損失関数として真似したいときには誤差を減らす方向に，真似されたくないときには誤差を増やす方向に誤差逆伝搬法によって学習した．
敵対的模倣学習を繰り返し行っていくと，初めは単調な時系列だったものが，真似されたくない方の誤差によって相手の時系列から逃れるために，少しずつ時系列の周期を増やしていき，カオス時系列のように複雑することがわかった．実際に，生成された時系列がカオスになっているかどうかを確かめるために，学習によって生成されたニューラルネットワークからリアプノフ指数を計算した．これが正であれば，力学系の軌道は不安定になりカオスとなる指標とされている．分岐図で収束点がばらばらに散りばめられたような学習数（エポック）において，リアプノフ指数が正となり，生成されている時系列がカオスになることが確かめられた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30年度の研究計画にもとづき研究を進めた．平成30年度には，まずはフィードフォワードニューラルネットワークを用いてシミュレーションモデルの構築を行った．構築したニューラルネットワークにおいて，敵対的模倣学習を行うと時系列が複雑化しカオスになることを示した．この結果をもとに，計画書にあるとおりに，モデルを時系列生成に対して時間的構造を保持できるLSTM(Long Short-Term Memory)を用いた実装も行った．こちらのモデルでも時系列が複雑化する結果は得られている．平成31年度に行う予定であった異なる社会的相互作用の関係において，時系列がどのように複雑化するのかも30年度の終わりより着手している．概ね計画のとおり進んでいるといえる．
|
| Strategy for Future Research Activity |
初年度において関数の表現が豊かなフィードフォワードニューラルネットワークを用いても，敵対的模倣学習によって時系列が複雑化することが明らかになったので，次に，より時間的な複雑さを表現できるリカレントニューラルネットワークの一つであるLSTMを用いたモデルへと注力していく．今までのモデルはフィードフォワード型のネットワークであるために，時間を使った時系列データの生成はできなかった．LSTMを使うことで時間構造を持つことができるようになる．時間的な複雑さが使えないときには空間的複雑を利用するしかなく，時系列はカオスとなった．LSTMを用いたモデルでは，時間構造を利用することができるので，文法構造を生成可能であると考える．初年度と同様に敵対的模倣学習を基本とし，このジレンマ的状況において時系列が文法構造を持ち得ることを示す．また，初年度の終わりから始めた，複数個体間の相互作用に拡張したモデルのシミュレーションを同時に行い，社会構造がもたらす時系列の複雑さも明らかにする．
|
