2023 Fiscal Year Annual Research Report
Respiration in Dialogue: Human-Robot Respiratory Synchronization Using Contact-Free Respiration Sensing
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
22H04859
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
船越 孝太郎 東京工業大学, 科学技術創成研究院, 准教授 (30839311)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | 呼吸 / 対話 / 同調 / 共感 / 協調 |
|---|
| Outline of Annual Research Achievements |
人同士のインタラクションと呼吸の関係はこれまでも研究されてきた．しかし，対話と呼吸の関係を対話知能の実現という観点から扱った研究は見当たらない．本研究は，「呼吸同調」を軸に，以下の3点を目的とした．
(1) 対話ロボットに，対話相手（人）の呼吸状態を推定する機能と，ロボット自体の擬似的な呼吸を実装することで，ロボットの呼吸を対話相手の呼吸と同調させることで生じさせ得る対話インタラクション上の諸効果を明らかにする．(2) 上記(1)の過程で，人・人対話と，人・ロボット対話で，呼吸活動にどのような違いが見られるのかを明らかにする．さらに，(3) 上記(1)の一部として，深層学習を用いた非接触型呼吸状態推定手法を開発し，どの程度の性能を得られるのかを明らかにする．そのために，呼吸情報の付随した大規模なマルチモーダル対話データセットを構築し公開する．
目的のために，人・人対話および人・ロボット対話における呼吸データ計測を実施した．呼吸データ計測で得られたデータを元に，深層学習を用いた非接触型呼吸状態推定手法を開発し，従来手法よりも格段に優れた推定性能を得られること，推定した呼吸波形により発声を事前に予測できることを示した．また，人・ロボット対話における呼吸データ計測では，複数条件下でのロボット対話実験を行い，発声の予測が人・ロボット間の発話衝突回避に有効であることを示した．
研究成果は，現時点で査読付き国際会議論文2篇と，国内研究会での報告2本にまとめられている．収集したデータの一部については呼吸波形推定タスク用の世界初のデータセットとして一般公開済みである．残りについても呼吸情報付き対話コーパスとして研究者が利用できるよう準備している．
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
