Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
「息があう」という言葉が示すように，人同士の関係性は呼吸の同調と密接に関係している．本研究は人とロボットの間の関係構築について呼吸同調の観点から以下の3点に取り組む．1. 対話ロボットに，人の呼吸状態を推定する機能と，ロボット自体の擬似的な呼吸を実装することで，呼吸同調によって生じさせ得る対話インタラクション上の諸効果を明らかにする．2. 1.の過程で，人・人対話と，人・ロボット対話で，呼吸活動に見られる違いをを明らかにする．3. 1.の一部として，深層学習を用いた非接触型呼吸状態推定手法を開発する．そのために，呼吸情報の付随した大規模なマルチモーダル対話データセットを構築し公開する．
人同士のインタラクションと呼吸の関係はこれまでも研究されてきた．しかし，対話と呼吸の関係を対話知能の実現という観点から扱った研究は見当たらない．本研究は，「呼吸同調」を軸に，以下の3点を目的とした．(1) 対話ロボットに，対話相手（人）の呼吸状態を推定する機能と，ロボット自体の擬似的な呼吸を実装することで，ロボットの呼吸を対話相手の呼吸と同調させることで生じさせ得る対話インタラクション上の諸効果を明らかにする．(2) 上記(1)の過程で，人・人対話と，人・ロボット対話で，呼吸活動にどのような違いが見られるのかを明らかにする．さらに，(3) 上記(1)の一部として，深層学習を用いた非接触型呼吸状態推定手法を開発し，どの程度の性能を得られるのかを明らかにする．そのために，呼吸情報の付随した大規模なマルチモーダル対話データセットを構築し公開する．目的のために，人・人対話および人・ロボット対話における呼吸データ計測を実施した．呼吸データ計測で得られたデータを元に，深層学習を用いた非接触型呼吸状態推定手法を開発し，従来手法よりも格段に優れた推定性能を得られること，推定した呼吸波形により発声を事前に予測できることを示した．また，人・ロボット対話における呼吸データ計測では，複数条件下でのロボット対話実験を行い，発声の予測が人・ロボット間の発話衝突回避に有効であることを示した．研究成果は，現時点で査読付き国際会議論文2篇と，国内研究会での報告2本にまとめられている．収集したデータの一部については呼吸波形推定タスク用の世界初のデータセットとして一般公開済みである．残りについても呼吸情報付き対話コーパスとして研究者が利用できるよう準備している．
令和5年度が最終年度であるため、記入しない。
All 2024 2023
All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (2 results)
Companion of the 2024 ACM/IEEE International Conference on Human-Robot Interaction
Volume: - Pages: 813-816
10.1145/3610978.3640707
Proceedings of the 25th International Conference on Multimodal Interaction
Volume: - Pages: 649-660
10.1145/3577190.3614154
