• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチエージェント強化学習による人間と合意形成する自動交渉エージェントの開発

研究課題

研究課題/領域番号 23K11230
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関京都大学

研究代表者

丁 世堯  京都大学, 情報学研究科, 助教 (60975449)

研究分担者 伊藤 孝行  京都大学, 情報学研究科, 教授 (50333555)
林 冬惠  岡山大学, 環境生命自然科学学域, 准教授 (90534131)
研究期間 (年度) 2023-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2024年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2023年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
キーワードマルチエージェント / 自動交渉エージェント / 意思決定エージェント / 強化学習 / 合意形成 / 自動交渉 / 大規模言語モデル
研究開始時の研究の概要

本研究では、人間と合意形成するような自動交渉エージェントの開発を目指し、実世界応用によりその有用性を確認する。一方、従来の自動交渉エージェントの研究は、実世界での人間との交渉への応用には限界がある。なぜなら、従来研究はシミュレーション上のエージェント同士の交渉を中心にしているため、本物の人間と交渉での限定的な合理性や交渉回数による負荷を仮定していない。本研究では、マルチエージェント強化学習手法を用いて、人間の限定合理性に関する特徴を考慮した上で、数回の交渉で合意形成する自動交渉エージェントを開発して、オンラインの電化製品セールスなどの現実世界での試用実験により有効性を確認する。

研究実績の概要

2024年度は、研究項目1に関連し、RAG(Retrieval-Augmented Generation)を活用した大規模言語モデル(LLM)搭載の意思決定エージェントを開発し、Minecraftゲーム環境においてその有効性を検証した。その結果、外部知識の活用によって、小型LLMでも高い問題解決能力を発揮できることが確認され、マルチエージェント強化学習の代替的アプローチとして注目された。これらの成果は、人工知能国際会議PAAMS2024においてフルペーパーとして採択された[1]。
さらに、研究項目2・3に向けた展開として、複数のLLMエージェントが交渉・協調可能なマルチエージェント版のMinecraft環境を新たに構築し、人間の限定合理性を考慮した合意形成のプロセスを模擬・分析できる基盤を整備中である。これにより、将来的には、仮想空間における多様なエージェントと人間の相互作用を通じた、実世界に応用可能な交渉支援サービスの設計が期待される。
[1]Shiyao Ding and Takayuki Ito. MineLlama: Llama with Retrieval-Augmented Generation as A Decision Maker in Minecraft, 22nd International Conference on Practical Applications of Agents and Multi-Agent Systems (PAAMS 2024), Spain, 26th-28th June, 2024

現在までの達成度
現在までの達成度

2: おおむね順調に進展している

理由

研究計画に基づき、2024年度も引き続き研究項目1を中心に展開しており、概ね順調に進展していると判断できる。具体的には、自動交渉のためのRAG(Retrieval-Augmented Generation)と大規模言語モデル(LLM)を組み合わせた新たな意思決定エージェントを開発し、複雑かつ長期的なタスクが求められるMinecraftゲーム環境においてその有効性を実証した。さらに、複数のエージェントが交渉・協調可能なマルチエージェント型Minecraft環境を独自に構築し、研究項目2・3に向けた実験基盤の整備にも着手している。これは、人間の限定合理性を含むより現実的な交渉モデルの実装に向けた重要なステップであり、研究全体の進捗は概ね順調に進展している。

今後の研究の推進方策

今後は、構築したマルチエージェント環境を活用し、LLMエージェント同士および人間との交渉プロセスの分析を進める。特に、人間の限定合理性を踏まえた戦略設計と、合意形成に至る対話パターンの抽出に注力する。また、エージェントの汎用性と応用可能性を高めるため、異なる環境やタスクへの展開も視野に入れ、交渉支援システムとしての実用化に向けた検証を段階的に進めていく。

報告書

(2件)
  • 2024 実施状況報告書
  • 2023 実施状況報告書
  • 研究成果

    (8件)

すべて 2024 2023

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (7件) (うち国際学会 4件)

  • [雑誌論文] Pattern-Based Meta Graph Neural Networks for Argument Classifications2024

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D 号: 4 ページ: 451-458

    • DOI

      10.1587/transinf.2023IHP0013

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2024-04-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] MineLlama: Llama with Retrieval-Augmented Generation as A Decision Maker in Minecraft2024

    • 著者名/発表者名
      Ding Shiyao、Ito Takayuki
    • 学会等名
      Advances in Practical Applications of Agents, Multi-Agent Systems, and Digital Twins: The PAAMS Collection (PAAMS 2024)
    • 関連する報告書
      2024 実施状況報告書
    • 国際学会
  • [学会発表] 事前学習済みモデルはオープンワールドゲームにおける意思決定にいかに役立つか2024

    • 著者名/発表者名
      丁 世堯、伊藤 孝行
    • 学会等名
      人工知能学会全国大会 (第38回)
    • 関連する報告書
      2024 実施状況報告書
  • [学会発表] A Deep Reinforcement Learning Based Facilitation Agent for Consensus Building among Multi-Round Discussions2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      The 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Self-Agreement: A Framework for Fine-tuning Language Models to Find Agreement among Diverse Opinions2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      The 20th Pacific International Conference on Artificial Intelligence (PRICAI 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Finding Agreements among Massive Diverse Opinions2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      The 18th International Conference on Knowledge, Information and Creativity Support Systems (KICSS 2023)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Graph convolutional networks for node classification in issue-based information systems2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 合意形成のための大規模言語モデル2023

    • 著者名/発表者名
      DING Shiyao、ITO Takayuki
    • 学会等名
      合同エージェントワークショップ&シンポジウム2023 (JAWS2023)
    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2025-12-26  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi