Increasing complexity of signals through adversarial imitation learning in cumulative cultural evolution

• Project Area: Studies of Language Evolution for Co-creative Human Communication
• Project/Area Number: 20H04989
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Hokkaido University
• Principal Investigator: 飯塚 博幸 北海道大学, 情報科学研究院, 准教授 (30396832)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Project Status: Completed (Fiscal Year 2021)
• Budget Amount: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000); Fiscal Year 2021: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2020: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
• Keywords: 敵対的模倣 / 累積的文化進化 / シミュレーション / 認知実験 / パターンの複雑化 / パターンの構造化 / 敵対的模倣学習 / 複雑化 / 階層性 / 意図共有

Outline of Research at the Start

本研究は，原始的なコミュニケーションにおいて，言語的な構造化がどのような条件のもと創発されてきたのかを実験とシミュレーションにより明らかにする．実験では，単純なシグナルのやりとりでの「真似したいが真似されたくない」という敵対的模倣関係のもと，シグナルを繰り返しやりとりする．伝達を行いたい（真似してもらいたい）味方と伝達したくない（真似されたくない）敵がいる状況で実験を行った場合に，伝達において簡単化のための構造化が生じ，非伝達において複雑化が生じることを示す．
．

Outline of Annual Research Achievements

最終年度では、累積的文化進化の実験室実験を拡張し、人を用いた敵対的模倣実験と敵対的模倣による時系列パターンと空間パターンの複雑化のシミュレーションを行った。
サイモンゲームを利用して開発した人を用いた敵対的模倣実験では、味方プレイヤには真似されるように，敵プレイヤには真似されないようにボタンを押して色パターンを生成する．これを繰り返していくと、敵対的模倣を通してパターンは複雑化するが、構造化は見られないことがわかった。そのため、パターンを生成するボタンの配置をグループ特有の身体性と見做し、その配置を共有する遺伝的に近い味方プレイヤと遠いプレイヤによる敵対的模倣実験を行うと、複雑化と構造化が見られることがわかった。ここでの身体性は遅いタイムスケールのダイナミクスと考えることができ、構造化にはその遅いダイナミクスが必要であることがわかった。
そこで、初年度から行っていた時系列パターンの複雑化のシミュレーションにおいて、時系列生成モデルであるニューラルネットワークを異なるタイムスケールをもつモデルに拡張した。このモデルで敵対的模倣を行うと、人による認知実験と同様に初年度には得られなかった時系列パターンの構造化が生じることが明らかになった。
空間パターンの複雑化のシミュレーションは、領域会議において、時系列パターンだけでなく、空間パターンも敵対的模倣から複雑化と構造化することがあり得るのではないかという議論があり、それを確かめるために行われた。結果としては、複雑化を示す空間パターンのエントロピーの増加と空間パターンの構造化を示すフラクタル次元の増加が敵対的模倣から生じ得ることを示した。
このように、シミュレーションと認知実験において、敵対的模倣によって異なるタイムスケールのダイナミクスを使うことによってパターンの複雑化と構造化が生じることを示した。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Multi-modal shared module that enables the bottom-up formation of map representation and top-down map reading (2022)
  • Author(s): Wataru Noguchi, Hiroyuki Iizuka, Masahito Yamamoto
  • Journal Title: Advanced Robotics Volume: 36:1-2 Pages: 85-99
  • Peer Reviewed
• [Journal Article] Generation of Complex Patterns using Coupled Generative Adversarial Networks (2022)
  • Author(s): Hiroyuki Iizuka, Taiki Sasaki, Wataru Noguchi, Masahito Yamamoto
  • Journal Title: Proceedings of the 2022 Conference on Artificial Life Volume: - Pages: 298-300
  • Peer Reviewed / Open Access
• [Journal Article] Increasing complexity of symbol sequences in adversarial imitation learning experiment (2022)
  • Author(s): Kazufumi Nomura, Wataru Noguchi, Hiroyuki Iizuka, Masahito Yamamoto
  • Journal Title: Proceedings of AROB-ISBC-SWARM 2022 Volume: - Pages: 231-236
  • Peer Reviewed
• [Journal Article] Generation of structured spatial patterns through adversarial imitation learning (2022)
  • Author(s): Hiroyuki Iizuka, Wataru Noguchi, Taiki Sasaki and Masahito Yamamoto
  • Journal Title: The Evolution of Language Proceedings of the Joint Conference on Language Evolution 2022 Volume: - Pages: 317-324
  • Peer Reviewed
• [Journal Article] Complexity Growth by Cooperative Interaction in Adversarial Learning (2021)
  • Author(s): Taiki Sasaki, Wataru Noguchi, Hiroyuki Iizuka, Masahito Yamamoto
  • Journal Title: Proceedings of the twenty-sixth international symposium on Artificial life and Robotics Volume: - Pages: 78-83
  • Peer Reviewed
• [Presentation] Multiple Timescales RNNを用いた敵対的模倣学習による時系列の複雑化と構造化 (2023)
  • Author(s): 佐々木 太樹，野口 渉，飯塚 博幸，山本 雅人
  • Organizer: 情報処理学会第85回全国大会