Respiration in Dialogue: Human-Robot Respiratory Synchronization Using Contact-Free Respiration Sensing

2022 Fiscal Year Annual Research Report

• Project Area: Studies on intelligent systems for dialogue toward the human-machine symbiotic society
• Project/Area Number: 22H04859
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 船越 孝太郎 東京工業大学, 科学技術創成研究院, 准教授 (30839311)
• Project Period (FY): 2022-04-01 – 2024-03-31
• Keywords: 呼吸 / 対話 / 同期 / 共感 / 協調

Outline of Annual Research Achievements

本年度は，以下の3つの課題に取り組んだ．すなわち，(I) 呼吸情報付き対話動画データセットの構築，(II) 画像と音声を入力とする深層学習 を用いた呼吸状態推定手法の開発と評価，(III) 人・人対話における呼吸の同調に関する分析，の3課題である.
(I)について，１０月に１ヶ月かけてデータ収録実験を実施した．収録実験は，個人差と状況の多様性をカバーするため，男女半数の80名の参加者を募集して行った．その後，データファイル間の同期やずれの有無の確認などの整理をし，課題(II ), (III) で使用できる形式に変換処理を行ってデータセットとしての整備を進めた．
(II)の推定手法の開発については，(I)と並行して行った．まず研究の目的に鑑み，従来は波形の絶対値を推定していたが，波形の勾配を推定することにした．波形勾配の推定に評価指標を提案するとともに，波形勾配を用いることで，絶対値を用いいる場合よりも，発話の有無の予測精度を改善できることを確認した．発話音声の情報や深度画像情報などを統合については，基礎的な検討を試行しているところである．
(III)については，(I)のデータ収録後に，研究協力者と共に分析を始めている．まだ予備的な段階であるが，顔見知り同士の参加者ペアと，他人同士の参加者ペアの間で，呼吸の同調傾向に違いが見られた．
さらに次年度で計画しているヒューマンロボットインタラクション実験に用いるロボットの選定も済ませ，およその実験デザインを固めた．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計画通りにデータ収集実験を実施し完了した．現在，収集したデータの整備を進めている．
収集したデータを用いた呼吸推定技術の研究も進めており，データの公表と論文発表のための準備を進めている．
また，収集したデータを予備的に分析した結果，顔見知り同士の参加者ペアと，他人同士の参加者ペアの間で，呼吸の同調傾向に違いが見られた．今後，研究協力者と共にデータの分析を進め，得られた知見を論文として発表する予定である．
次年度に計画しているヒューマンロボットインタラクション実験に用いるロボットの選定も済ませた．

Strategy for Future Research Activity

当初の計画通りに進める．