• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

マルチエージェント強化学習による人間と合意形成する自動交渉エージェントの開発

研究課題

研究課題/領域番号 23K11230
研究機関京都大学

研究代表者

丁 世堯  京都大学, 情報学研究科, 助教 (60975449)

研究分担者 伊藤 孝行  京都大学, 情報学研究科, 教授 (50333555)
林 冬惠  岡山大学, 環境生命自然科学学域, 准教授 (90534131)
研究期間 (年度) 2023-04-01 – 2026-03-31
キーワードマルチエージェント / 強化学習 / 合意形成 / 自動交渉 / 大規模言語モデル
研究実績の概要

本研究では、人間と合意形成するような自動交渉エージェントの開発を目指し、実世界応用によりその有用性を確認する。ここでは、マルチエージェント強化学習手法を用いて、人間の限定合理性に関する特徴を考慮した上で、数回の交渉で合意形成する自動交渉エージェントを開発する。本研究では、以下の3つの研究項目を設定している。研究項目1の「人間との交渉で試行錯誤なしのマルチエージェント強化学習手法の開発」。研究項目2の「“人間の合理性を仮定しない”交渉における自動交渉戦略の実現」。研究項目3の「エージェントと人間との交渉サービス基盤の構築及び実証実験」。
研究計画書のとおり、2023年度において、研究項目1に関して速やかに開始した。具体的には、強化学習と大規模言語モデルに基づいた合意形成を支援するファシリテーションエージェントを開発した。多数の人による複数ラウンドにわたる議論のシミュレーションにより、合意形成に至ることを確認した[1]。また、合意形成のための大規模言語モデルを開発し、対立がある多様な意見から合意案を自動的に生成することができた[2]。さらに、合意案に至るまでの議論の内容を分析するため、メタ学習を用いたグラフニューラルネットワークを開発し、議論の内容を高精度で分類し、合意形成に至る議論過程を解明できるようになった[3]。
以上の内容について、人工知能国際会議PRICAI2023 (CORE B)で2本のフルペーパー[1] [2]と、国際雑誌IEICE TRANSACTIONS on Information and Systemsで1本のフルペーパー [3]が各々採択されている。

現在までの達成度
現在までの達成度

1: 当初の計画以上に進展している

理由

研究計画書のとおり、研究項目1の「人間との交渉で試行錯誤なしのマルチエージェント強化学習手法の開発」については、2023年度から研究を開始し、強化学習に基づいた合意形成を支援するファシリテーションエージェントを開発した。多数の人による複数ラウンドにわたる議論のシミュレーションにより、合意形成に至ることを確認し、その成果は人工知能国際会議PRICAI2023 (CORE B)に採択された[1]。さらに、当初の計画になかった、多様な意見から合意案を自動的に生成できるような大規模言語モデルの開発も実現できて、その成果もPRICAI2023に採択された[2]。今後さらに大規模言語モデルを合意形成に取り入れることを促進させていく予定であり、当初の計画以上に進展している。

[1] Shiyao Ding and Takayuki Ito, A Deep Reinforcement Learning Based Facilitation Agent for Consensus Building among Multi-Round Discussions, The 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023), November 17-19, 2023, Jakarta, Indonesia. (CORE B)
[2] Shiyao Ding and Takayuki Ito, Self-Agreement: A Framework for Fine-tuning Language Models to Find Agreement among Diverse Opinions, The 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023), November 17-19, 2023, Jakarta, Indonesia. (CORE B)
[3] Shiyao Ding and Takayuki Ito ,Pattern-Based Meta Graph Neural Networks for Argument Classifications.IEICE Transaction on Information and Systems, vol.E107-D, No. 4, pp.451-458, 2023.

今後の研究の推進方策

研究項目1の「人間との交渉で試行錯誤なしのマルチエージェント強化学習手法の開発」では、強化学習に基づいた合意形成を支援するファシリテーションエージェントの有効性は、複数ラウンドの議論のシミュレーションにより確認したが、れから実施される予定の実在する人間の議論による実証実験に向けて、自動交渉アルゴリズムを改善し、Githubに公開する。
研究項目2の「“人間の合理性を仮定しない”交渉で自動交渉戦略の実現」では、人間は理性的に行動しても、複雑で不確実な自動交渉環境に直面し、取引が多くなればなるほど不確実性が増えるため、人間が環境を計算し理解する能力には限界がある。よって、2024年度には情報の不確実性や人間の扱える交渉空間モデルを、効用空間及び交渉空間に導入することにより、期待値推定の信頼性を確保するような自動交渉戦略を実現する。

次年度使用額が生じた理由

当初の計画で一台のサーバを購入する予定あるが、他のプロジェクトにて購入されたサーバと併用したため、次年度使用額が生じた。次年度に技術のオフィスアシスタントの雇用規模の拡大により、人件費に使う予定である。

  • 研究成果

    (6件)

すべて 2024 2023

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (5件) (うち国際学会 3件)

  • [雑誌論文] Pattern-Based Meta Graph Neural Networks for Argument Classifications2024

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D ページ: 451~458

    • DOI

      10.1587/transinf.2023IHP0013

    • 査読あり / オープンアクセス
  • [学会発表] A Deep Reinforcement Learning Based Facilitation Agent for Consensus Building among Multi-Round Discussions2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      The 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023)
    • 国際学会
  • [学会発表] Self-Agreement: A Framework for Fine-tuning Language Models to Find Agreement among Diverse Opinions2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      The 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023)
    • 国際学会
  • [学会発表] Finding Agreements among Massive Diverse Opinions2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      The 18th International Conference on Knowledge, Information and Creativity Support Systems (KICSS 2023)
    • 国際学会
  • [学会発表] Graph convolutional networks for node classification in issue-based information systems2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      情報処理学会第85回全国大会
  • [学会発表] 合意形成のための大規模言語モデル2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      合同エージェントワークショップ&シンポジウム2023 (JAWS2023)

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi