Motion design of robots with consideration for others involved in conversation participation

• Project Area: Studies on intelligent systems for dialogue toward the human-machine symbiotic society
• Project/Area Number: 22H04862
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Shizuoka University
• Principal Investigator: 竹内 勇剛 静岡大学, 創造科学技術大学院, 教授 (00333500)
• Project Period (FY): 2022-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000); Fiscal Year 2023: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000); Fiscal Year 2022: ¥9,100,000 (Direct Cost: ¥7,000,000、Indirect Cost: ¥2,100,000)
• Keywords: 配慮行動 / 他者理解 / 内部状態 / モデル / 願望推定 / 配慮 / 他者モデル / 多人数インタラクション / 身体ねじり / コミュニケーション欲求 / 多人数対話 / 参与構造

Outline of Research at the Start

対話への新規参入において新規参与者は，すでに対話をしている既参与者それぞれの内部状態を鑑みながら，そこで自分がどのように立ち振る舞うことが適切なのかを適宜省察し既参与者に配慮した行動をしなければならない．本研究では，これまでに得られた知見（2者間の配慮を伴ったインタラクション開始過程のモデル化）と，他者の内部状態の推定のための指標として新たに「身体ねじり」 を伴うポスチャーを導入することによって，多人数対話における配慮を伴ったロボットの行動を生成する認知モデルを通して，多人数対話時における各参与者の内部状態を時系列的に推定し，他者への配慮を伴った行動に基づくインタラクションの実現を目指す．

Outline of Annual Research Achievements

公共場面において対話ロボットは周囲の他者や環境に配慮しながら行動しなければならない．本研究では対話参入時のインタラクションをモデル化し，ロボットに実装することで周囲の他者に配慮可能な対話ロボットの振る舞いを実現することを目的とする．研究成果として，(1)対話場を構築するための話しかけインタラクションにおいて相手の接近回避行動から内部状態を推定し，自身の内部状態を調整したうえで話しかけを行うモデルを構築し，その妥当性と有用性を示した．また(2)ロボットの対話場に人が新規参入する場面において，ロボットの身体ねじりが新規参与者に及ぼす影響をフィールド実験により明らかにした．さらに，(3)人がロボットを操作し遠隔地でコミュニケーションする場面において，遠隔地の環境に応じて半自動的に身体動作を生成するシステムを構築し，その有用性を示した．以下に上記(1), (2), (3)の各課題の研究実績の概要を示す．
研究課題(1)では，対話を求める相手に対しては自身から接近することで対話開始を促進し，対話を求めていない相手に対しては距離を取ることでインタラクションを回避するといった行動を生成することが可能となった．
研究課題(2)では，参加者と対話するロボットAの身体方向と，傍参与者とのロボットBの顔方向が参加者とロボットAの対話の継続時間に影響することが示された．このことから，ロボットの身体ねじりがロボットの内部状態を表出し，それを人が推定することで対話場の継続・維持の判断に影響することが示唆された．
研究課題(3)では，環境内の人の視線動作に基づき自律的に相互注視を行うシステムを構築し，操作者が遠隔地の環境内の他者に配慮した行動を示すか否かを実験により検証した．その結果，提案システムが遠隔地内の相手への配慮を伴う行動を促す可能性が確認された．

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] テレプレゼンスアバターロボットの自律的な共同注視による他者の願望認知 (2024)
  • Author(s): 生駒響, 竹内勇剛
  • Journal Title: ヒューマンインタフェース学会論文誌 Volume: 26(2)
  • Peer Reviewed / Open Access
• [Journal Article] Analysis of behaviors that promote new participation based on body torque of others in robot-human interactions (2023)
  • Author(s): Takagi, K., Sakamoto, T., Ichikawa, J., & Takeuchi, Y.
  • Journal Title: Proceedings of the 11th International Conference on Human-Agent Interaction (HAI2023) Volume: - Pages: 335-342
  • DOI: 10.1145/3623809.3623845
  • Peer Reviewed / Open Access
• [Journal Article] Effects of Robots' "Body Torque" on Participation and Sustaining Multi-Person Conversations (2023)
  • Author(s): Takagi, K., Sakamoto, T., Ichikawa, J., & Takeuchi, Y.
  • Journal Title: Proceedings of 32nd IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN2023) Volume: - Pages: 38-43
  • DOI: 10.1109/ro-man57019.2023.10309596
  • Peer Reviewed / Open Access
• [Journal Article] Automatic Joint Attention Generation between Local and Remote Persons through Telepresence Robot’s Behavior (2023)
  • Author(s): Ikoma Hibiki、Takeuchi Yugo
  • Journal Title: Proceedings of 32nd IEEE International Conference on Robot and Human Interactive Communication (IEEE RO-MAN2023) Volume: - Pages: 2106-2111
  • DOI: 10.1109/ro-man57019.2023.10309436
  • Peer Reviewed / Open Access
• [Journal Article] 推測的かつ暫定的な対話による共通基盤の形成過程 (2023)
  • Author(s): 須藤早喜, 浅野恭四郎, 光田 航, 東中竜一郎, 竹内勇剛
  • Journal Title: 電子情報通信学会和文論文誌(D) Volume: J106-D(4) Pages: 277-289
  • Peer Reviewed
• [Journal Article] エージェントの援助に対する人の返報行動に立脚したHAIデザイン (2023)
  • Author(s): 市川雅也, 坂本孝丈, 竹内勇剛
  • Journal Title: 情報通信学会和文論文誌(D) Volume: J106-A(3) Pages: 114-124
  • Peer Reviewed
• [Journal Article] A Speculative and Tentative Common Ground Handling for Efficient Composition of Uncertain Dialogue (2022)
  • Author(s): Saki Sudo, Kyoshiro Asano, Koh Mitsuda, Ryuichiro Higashinaka, Yugo Takeuchi
  • Journal Title: Proceedings of the Thirteenth Language Resources and Evaluation Conference Volume: - Pages: 3150-3157
  • Peer Reviewed / Open Access
• [Journal Article] Perception of Supporting Agents Based on the Cognitive Responses of Recipients in a Helping Situation (2022)
  • Author(s): Ichikawa, M., Sakamoto, T., & Takeuchi, Y.
  • Journal Title: 15th International Conference on Human System Interaction (HSI) Volume: - Pages: 1-6
  • DOI: 10.1109/hsi55341.2022.9869482
  • Peer Reviewed / Open Access
• [Presentation] テレプレゼンスアバターロボットの自律的な共同注視による他者の願望認知 (2024)
  • Author(s): 生駒響，竹内勇剛
  • Organizer: HAIシンポジウム2024
• [Presentation] テレプレゼンスロボットの行動による遠隔地間での共同注意の生成 (2023)
  • Author(s): 生駒響, 竹内勇剛
  • Organizer: HAIシンポジウム2023
• [Presentation] 他者認知モデルに基づくエージェントの配慮がインタラクションに及ぼす影響 (2023)
  • Author(s): 坂本孝丈, 竹内勇剛
  • Organizer: HAIシンポジウム2023
• [Presentation] 多人数対話場面での参与者による身体ねじりを通した対話への参入と持続 (2023)
  • Author(s): 高木カレブ, 坂本孝丈, 市川淳, 竹内勇剛
  • Organizer: HAIシンポジウム2023
• [Presentation] 見えないサービスのための認知的インタラクションとＸＡＩ (2023)
  • Author(s): 竹内勇剛
  • Organizer: 理研シンポジウム・AIと文化シンポジウム
  • Invited
• [Remarks] 認知的コミュニケーション研究室（研究実績）
  • URL: http://cog.cs.inf.shizuoka.ac.jp/publications.html
• [Remarks] research map
  • URL: https://researchmap.jp/read0072599