Foundation of Co-creative Learning based on Symbol Emergence Systems Theory

• Project/Area Number: 21H04904
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: Kyoto University (2024); Ritsumeikan University (2021-2023)
• Principal Investigator: 谷口 忠大 京都大学, 情報学研究科, 教授 (80512251)
• Co-Investigator(Kenkyū-buntansha): 萩原 良信 創価大学, 理工学部, 准教授 (20609416) ; 谷口 彰 立命館大学, 情報理工学部, 講師 (70831387) ; ElHafi Lotfi 立命館大学, 総合科学技術研究機構, 准教授 (90821554)
• Project Period (FY): 2021-04-05 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥41,860,000 (Direct Cost: ¥32,200,000、Indirect Cost: ¥9,660,000); Fiscal Year 2025: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000); Fiscal Year 2024: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000); Fiscal Year 2023: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000); Fiscal Year 2022: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000); Fiscal Year 2021: ¥9,100,000 (Direct Cost: ¥7,000,000、Indirect Cost: ¥2,100,000)
• Keywords: 機械学習 / ソフトコンピューティング / 記号創発 / コミュニケーション創発 / 確率的生成モデル

Outline of Research at the Start

人間の持つ記号システムは静的に存在するものではなく動的に変化する．従来のマルチモーダルカテゴリ形成に基づく語彙獲得やパターン認識は教示を行う人間の記号システムを固定的なものと近似し，その創発的動態を無視してきた．本研究では人間とロボットの記号的相互作用を通した学習を記号創発システムの枠組みで定式化し，「人間とロボットがタスクと協調に必要な記号システムを共に創っていく」という記号創発システムに基づく共創的学習の基盤を創成する．その有効性は家庭の掃除を行うサービスロボットを例として，創発した記号により人間とロボットが協調的にタスク達成する実験により示す．

Outline of Annual Research Achievements

本研究では記号創発システム論に基づく人間ロボット融合系の共創的学習理論の基盤創成を目指して研究推進を行った。本研究は以下の４つの研究項目から構成される。
[課題１] マルチモーダル表現学習に基づくロボット間の記号創発、[課題２] 複数の人間における記号創発のモデル分析とダイナミクス検証、[課題３] 人間とロボット融合系における共創的学習の創成、[課題４] サービスロボットにおける共創的学習の応用、である。
[課題１]に関しては先行研究のモデルを拡張し、N体以上の複数のエージェントに再帰的なコミュニケーションを導入し、記号創発により分散的なベイズ推論として記号創発が可能となる手法を論文として出版した。マルチモーダルな深層生成モデルへと拡張し、その際のマルチモーダル情報の統合手法と、記号創発の性能依存性に関して明らかにした。また[課題２] に関しては実験記号論に基づく被験者実験を行い、人間が自然と分散ベイズ推論を行っているだろうことを支持する結果を得て、この内容を論文として出版した。[課題３] に関しては人間とロボット融合系における共創的学習に関わる実験を行い、仮説を支持する結果を得た。これについては論文出版準備中である。[課題４]に関しては予備的検証を進めた。
本年度は特に、当初の計画を超えて、記号創発システム論の感情記号の創発や、精神医学への応用や、強化学習への応用などに関しても、議論の展開を得ることができた。また、展望論文を出版し、本研究から拓かれる展望に関して広く議論を深めることができた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

実施計画に示した課題を概ね達成しており、記号創発を集合的予測符号化として捉える理論を深化させることができた。また当初想定していた以上の多くの研究者との学際的な連携関係を構築し，申請時には計画していなかった展開にまで発展しており，当初の計画以上の進展を果たしていると言える．

Strategy for Future Research Activity

研究計画に従い、当該研究課題を推進していく。[課題１] マルチモーダル表現学習に基づくロボット間の記号創発に関しては、言語の構成性や分布意味論との関連性に着目し、表現学習と記号創発の関係性のみならず、世界モデルと大規模言語モデルとの関係にまで議論を拡張していく。[課題２] 複数の人間における記号創発のモデル分析とダイナミクス検証に関しては、人間の被験者の認知特性と共同注意名付けゲームにおける振る舞いの関係性に関して実験記号論的な実験を推進する。[課題３] 人間とロボット融合系における共創的学習の創成に関しては、人間機械混成系での実験を行い人間とロボットの間の記号創発が分散的ベイズ推論として機能することを実験的に明らかにする。[課題４] サービスロボットにおける共創的学習の応用に関してはコミュニケーションロボットや半自律ロボットを対象に記号創発の工学的応用の方法論を探究していく。

Research Products

• [Journal Article] Constructive approach on the emergence of language and communication (2024)
  • Author(s): 上田 亮、谷口 忠大、鈴木 麗璽、江原 広人、中村 友昭、岩村 入吹、橋本 敬
  • Journal Title: Cognitive Studies: Bulletin of the Japanese Cognitive Science Society Volume: 31 Issue: 1 Pages: 172-185
  • DOI: 10.11225/cs.2023.073
  • ISSN: 1341-7924, 1881-5995
  • Year and Date: 2024-03-01
  • Peer Reviewed / Open Access
• [Journal Article] Dynamics of language and cognition based on collective predictive coding: Towards a new generation of symbol emergence in robotics (2024)
  • Author(s): 谷口忠大
  • Journal Title: Cognitive Studies: Bulletin of the Japanese Cognitive Science Society Volume: 31 Issue: 1 Pages: 186-204
  • DOI: 10.11225/cs.2023.064
  • ISSN: 1341-7924, 1881-5995
  • Year and Date: 2024-03-01
  • Peer Reviewed / Open Access
• [Journal Article] Emergent Communication of Multimodal Deep Generative Models based on Metropolis-Hastings Naming Game (2024)
  • Author(s): Nguyen Le Hoang, Tadahiro Taniguchi, Yoshinobu Hagiwara, Akira Taniguchi
  • Journal Title: Frontiers in Robotics and AI, section Robot Learning and Evolution Volume: 1
  • DOI: 10.3389/frobt.2023.1290604
  • Peer Reviewed / Open Access
• [Journal Article] Metropolis-Hastings algorithm in joint-attention naming game: experimental semiotics study (2023)
  • Author(s): Ryota Okumura, Tadahiro Taniguchi, Yoshinobu Hagiwara, Akira Taniguchi
  • Journal Title: Frontiers in Artificial Intelligence Volume: 6
  • DOI: 10.3389/frai.2023.1235231
  • Peer Reviewed / Open Access
• [Journal Article] Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues (2023)
  • Author(s): Akira Taniguchi, Hiroaki Murakami, Ryo Ozaki, Tadahiro Taniguchi
  • Journal Title: IEEE Transactions on Cognitive and Developmental Systems Volume: 15 Pages: 1825-1840
  • Peer Reviewed / Open Access
• [Journal Article] Emergent Communication through Metropolis-Hastings Naming Game with Deep Generative Models (2023)
  • Author(s): Tadahiro Taniguchi, Yuto Yoshida, Akira Taniguchi, Yoshinobu Hagiwara
  • Journal Title: Advanced Robotics Volume: 37 Issue: 19 Pages: 1266-1282
  • DOI: 10.1080/01691864.2023.2260856
  • Peer Reviewed / Open Access
• [Journal Article] Recursive Metropolis-Hastings naming game: symbol emergence in a multi-agent system based on probabilistic generative models (2023)
  • Author(s): Jun Inukai, Tadahiro Taniguchi, Akira Taniguchi, Yoshinobu Hagiwara
  • Journal Title: Frontiers in Artificial Intelligence Volume: 10
  • DOI: 10.3389/frai.2023.1229127
  • Peer Reviewed / Open Access
• [Journal Article] On Parallelism in Music and Language: A Perspective from Symbol Emergence Systems Based on Probabilistic Generative Models (2023)
  • Author(s): Taniguchi Tadahiro
  • Journal Title: Music in the AI Era. CMMR 2021. Lecture Notes in Computer Science, vol 13770 Volume: - Pages: 9-25
  • DOI: 10.1007/978-3-031-35382-6_2
  • ISBN: 9783031353819, 9783031353826
• [Journal Article] Multiagent multimodal categorization for symbol emergence: emergent communication via interpersonal cross-modal inference (2022)
  • Author(s): Hagiwara Yoshinobu、Furukawa Kazuma、Taniguchi Akira、Taniguchi Tadahiro
  • Journal Title: Advanced Robotics Volume: 36 Issue: 5-6 Pages: 239-260
  • DOI: 10.1080/01691864.2022.2029721
  • Peer Reviewed / Open Access
• [Presentation] Metropolis-Hastings Captioning Game による複数の視覚言語モデルのベイズ的統合 (2024)
  • Author(s): 松井悠太, 山木良輔, 上田亮, 品川政太朗, 谷口忠大
  • Organizer: 言語処理学会第30回年次大会(NLP2024)
• [Presentation] 分散的ベイズ推論による創発コミュニケーションに基づくマルチエージェント強化学習 (2024)
  • Author(s): 江原広人, 中村友昭, 谷口彰, 谷口忠大
  • Organizer: 言語処理学会第30回年次大会(NLP2024)
• [Presentation] ガウス過程に基づく確率的生成モデルを用いたマルチモーダル情報に基づく連続的な記号の創発 (2024)
  • Author(s): 劉智優, 江原広人, 中村友昭, 谷口彰, 谷口忠大
  • Organizer: 言語処理学会第30回年次大会(NLP2024)
• [Presentation] 文字列中からの単語の発見と感覚情報に基づく単語の意味づけを通じた SIR 名付けゲームによる言語の創発 (2024)
  • Author(s): 堀江孝文, 谷口彰, 萩原良信, 谷口忠大
  • Organizer: 言語処理学会第30回年次大会(NLP2024)
• [Presentation] 記号創発ロボティクスとアリスの旅路 (2024)
  • Author(s): 谷口忠大
  • Organizer: 「ロボット学者はなぜ小説を書くのか？ 漱石アンドロイドと人間学としてのロボット研究」
  • Invited
• [Presentation] Cross-Situational Word Learning in Disentangled Latent Space (2023)
  • Author(s): Yuta Matsui, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi
  • Organizer: 13th IEEE International Conference on Development and Learning (ICDL)
  • Int'l Joint Research
• [Presentation] Lexical Acquisition with Cross-Situational Learning Based on Mutual Segmentation of Sentences and Multi-Attribute Sensory Information (2023)
  • Author(s): Takafumi Horie, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi
  • Organizer: 13th IEEE International Conference on Development and Learning (ICDL)
  • Int'l Joint Research
• [Presentation] Lexical Acquisition from Audio-Visual Streams using a Multimodal Recurrent State-Space Model (2023)
  • Author(s): Soichiro Komura, Katsuyoshi Maeyama, Akira Taniguchi, Tadahiro Taniguchi
  • Organizer: 13th IEEE International Conference on Development and Learning (ICDL)
  • Int'l Joint Research
• [Presentation] Multi-agent Reinforcement Learning with Emergent Communication using Discrete and Indifferentiable Message (2023)
  • Author(s): Hiroto Ebara, Tomoaki Nakamura, Akira Taniguchi, Tadahiro Taniguchi
  • Organizer: 14th International Conference on Smart Computing and Artificial Intelligence (SCAI 2023-Winter)
  • Int'l Joint Research
• [Presentation] 未来のロボットは、成長して、あなたと仲良くなれるか？～記号創発ロボティクスとアリスの旅路～ (2023)
  • Author(s): 谷口忠大
  • Organizer: 〈岩波科学ライブラリー〉創刊30年記念連続講座「人の学びを科学する」
  • Invited
• [Presentation] 実世界人工知能と次世代共生社会に向けて～生成AIと記号創発システム科学～ (2023)
  • Author(s): 谷口忠大
  • Organizer: 立命館大学経済学部同窓会講演会
  • Invited
• [Presentation] 大規模言語モデル時代における記号創発ロボティクスの新展開～集合的予測符号化に基づく言語と認知のダイナミクス～ (2023)
  • Author(s): 谷口忠大
  • Organizer: SONY
  • Invited
• [Presentation] 記号創発システムと集合的予測符号化に基づく人間・AIロボット共生社会のデザイン (2023)
  • Author(s): 谷口忠大
  • Organizer: JST CRDS 科学技術未来戦略ワークショップ 次世代AIモデルの研究開発
  • Invited
• [Presentation] 記号創発ロボティクスから記号論を学ぼう！ (2023)
  • Author(s): 谷口忠大
  • Organizer: TEAと質的探究学会・研究交流委員会企画 TEA多分野交流会～研究の視点を拡げよう～
  • Invited
• [Presentation] 分散的ベイズ推論としてのマルチエージェント強化学習と記号創発 (2023)
  • Author(s): 江原広人, 中村友昭, 谷口彰, 谷口忠大
  • Organizer: 言語処理学会第29回年次大会(NLP2023)
• [Presentation] 認知発達への構成論的アプローチ 発達ロボティクスから記号創発システムまで (2023)
  • Author(s): 谷口忠大
  • Organizer: 発達心理学会
  • Invited
• [Presentation] 社会における分散的ベイズ推論としての記号創発 ～集合的予測符号化としての言語観～ (2023)
  • Author(s): 谷口忠大
  • Organizer: 言語処理学会第29回年次大会(NLP2023)
  • Invited
• [Presentation] Symbol Emergence as Inter-personal Categorization with Head-to-head Latent Word (2022)
  • Author(s): Kazuma Furukawa, Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi
  • Organizer: IEEE International Conference on Development and Learning (ICDL 2022)
  • Int'l Joint Research
• [Presentation] Emergent Communication as Decentralized Representation Learning: Metropolis-Hastings Naming Game and Beyond (2022)
  • Author(s): Tadahiro Taniguchi, Yuto Yoshida, Furukawa, Kazuma Furukawa, Jun Inukai, Ryota Okumura, Yoshinobu Hagiwara, Akira Taniguchi
  • Organizer: JCoLE Workshop on Machine Learning and the Evolution of Language
  • Int'l Joint Research
• [Presentation] Multi-agent collaboration through emergent communication based on MLDA and Metropolis-Hastings (2022)
  • Author(s): Tomoaki Nakamura, Tadahiro Taniguchi, Akira Taniguchi
  • Organizer: JCoLE Workshop on Machine Learning and the Evolution of Language
  • Int'l Joint Research
• [Presentation] Dynamics verification based on the Metropolis-Hastings method of symbol emergence experiments in multiple humans (2022)
  • Author(s): Ryota Okumura, Yoshinobu Hagiwara, Akira Taniguchi, Tadahiro Taniguchi
  • Organizer: JCoLE Workshop on Constructive approaches to co-creative communication
  • Int'l Joint Research / Invited
• [Presentation] Multiagent Inter-GMM: Extension and verification of the symbol emergence model to more than three parties (2022)
  • Author(s): Jun Inukai, Tadahiro Taniguchi, Yoshinobu Hagiwara, Akira Taniguchi
  • Organizer: JCoLE Workshop on Constructive approaches to co-creative communication
  • Int'l Joint Research
• [Presentation] Speak Like a Dog: Human to Non-human creature Voice Conversion (2022)
  • Author(s): Kohei Suzuki, Shoki Sakamoto, Tadahiro Taniguchi, Hirokazu Kameoka
  • Organizer: Asia-Pacific Signal and Information Processing Association (APSIPA)
  • Int'l Joint Research
• [Presentation] 変分オートエンコーダを活用した実画像からの記号創発 (2022)
  • Author(s): 吉田悠人，萩原良信，谷口彰，谷口忠大
  • Organizer: 2022年度人工知能学会全国大会(JSAI2022)
• [Presentation] Multiagent Inter-GMM：記号創発モデルの3者以上への拡張と検証 (2022)
  • Author(s): 犬飼惇，萩原良信，谷口彰，谷口忠大
  • Organizer: 2022年度人工知能学会全国大会(JSAI2022)
• [Presentation] 複数の人間における記号創発実験のメトロポリス・ヘイスティングス法に基づくダイナミクス検証 (2022)
  • Author(s): 奥村亮太，萩原良信，谷口彰，谷口忠大
  • Organizer: 2022年度人工知能学会全国大会(JSAI2022)
• [Presentation] 語彙の合成性を有するマルチモーダル記号創発 (2022)
  • Author(s): 古川 和磨，萩原 良信，谷口 彰，谷口 忠大
  • Organizer: 2022年度人工知能学会全国大会(JSAI2022)
• [Presentation] Speak like a dog! 深層学習によるノンパラレル音声変換を用いた犬声合成 (2022)
  • Author(s): 鈴木 公平，阪本 翔紀，谷口 忠大，亀岡 弘和
  • Organizer: 2022年度人工知能学会全国大会(JSAI2022)
• [Presentation] カテゴリ形成課題を用いた二者間記号創発実験のメトロポリス・ヘイスティングス法に基づくダイナミクス検証 (2022)
  • Author(s): 奥村亮太，萩原良信，谷口彰，谷口忠大
  • Organizer: 日本認知科学会第39回大会
• [Presentation] Web 実験を用いたカテゴリー学習課題における行動特性と精神疾患 傾向との関連性に関する探索的研究 (2022)
  • Author(s): 中川渉，山下祐一, 谷口忠大, 岡田幸之, 高橋英彦
  • Organizer: 日本認知科学会第39回大会
• [Presentation] 記号創発ロボティクスとマルチモーダル感覚情報に基づく言語獲得 ～実世界人工知能に学ぶ言葉の意味の構成的理解～ (2022)
  • Author(s): 谷口忠大
  • Organizer: LET 61st Annual Conference #LET61
  • Invited
• [Presentation] マルチモーダルな予測に基づく発達的な統合認知システムに向けて ～世界モデルから記号創発システムまで～ (2022)
  • Author(s): 谷口忠大
  • Organizer: シンギュラリティサロン
  • Invited
• [Presentation] 記号創発ロボティクスから実世界言語理解知能への展望 (2022)
  • Author(s): 谷口忠大
  • Organizer: 産総研第60回AIセミナー
  • Invited
• [Presentation] マルチモーダルな予測と推論に基づく実世界認知アーキテクチャ： 記号創発ロボティクスから全脳確率的生成モデルまで (2022)
  • Author(s): 谷口忠大
  • Organizer: 日本認知科学会第39回大会
  • Invited
• [Presentation] Metropolis-Hasting naming game for symbol emergence (2022)
  • Author(s): Tadahiro Taniguchi
  • Organizer: 3rd SMILES WORKSHOP, ICDL 2022
  • Int'l Joint Research
• [Presentation] Consciousness and Symbol Emergence Systems (2022)
  • Author(s): Tadahiro Taniguchi
  • Organizer: International Symposium on Artificial Intelligence and Brain Science 2022
  • Int'l Joint Research / Invited
• [Presentation] 記号創発ロボティクスと心の哲学 ～人工知能と人間による意味理解を問い直す～ (2022)
  • Author(s): 谷口忠大
  • Organizer: 「人と情報テクノロジーの共生のための人工知能の哲学2.0の構築」 総括シンポジウム
  • Invited
• [Presentation] Symbol Emergence in Robotics: Probabilistic Generative Models for Realizing Real-world Cognition (2021)
  • Author(s): Tadahiro Taniguchi
  • Organizer: Fifth International Workshop on Symbolic-Neural Learning (SNL-2021)
  • Int'l Joint Research / Invited
• [Presentation] 人間とロボットの次世代共生社会に向けた コミュニケーションの理論構成 ～記号創発システム論から見る自己と他者～ (2021)
  • Author(s): 谷口忠大
  • Organizer: 応用哲学会サマースクール「先端融合研究としての応用哲学入門」
  • Invited
• [Presentation] 記号創発ロボティクスによる 実世界言語獲得の展開 (2021)
  • Author(s): 谷口忠大
  • Organizer: 日本英語学会第39回大会
  • Invited
• [Presentation] Generative Models for Symbol Emergence based on Real-World Sensory-motor Information and Communication (2021)
  • Author(s): Tadahiro Taniguchi
  • Organizer: The 15th International Symposium on Computer Music Multidisciplinary Research (CMMR 2021)
  • Int'l Joint Research / Invited
• [Book] Open Semiotics Volume 4 Life and its Extensions (2023)
  • Author(s): Taniguchi, T., T. Kato, T. Mukumoto, H. Yoshida, ( Amir Biglari (編集))
  • Total Pages: 610
  • Publisher: L'Harmattan
  • ISBN: 9782140305313
• [Book] 未来社会と「意味」の境界 (2023)
  • Author(s): 谷口忠大，河島茂生，井上明人（編著）
  • Total Pages: 176
  • Publisher: 勁草書房
  • ISBN: 9784326603602
• [Book] 応用哲学（3STEPシリーズ 6） (2023)
  • Author(s): 谷口忠大，（松田毅, 藤木篤, 新川拓哉 (編集)）
  • Total Pages: 242
  • Publisher: 昭和堂
  • ISBN: 9784812222232
• [Book] 認知科学講座4 心をとらえるフレームワークの展開 (2022)
  • Author(s): 横澤一彦，谷口忠大，他
  • Total Pages: 272
  • Publisher: 東京大学出版会
  • ISBN: 4130152041
• [Book] 僕とアリスの夏物語 人工知能の，その先へ (2022)
  • Author(s): 谷口 忠大
  • Total Pages: 206
  • Publisher: 岩波書店
  • ISBN: 4000297090
• [Remarks] 立命館大学創発システム研究室WEBサイト
  • URL: http://www.em.ci.ritsumei.ac.jp/