Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
「息があう」という言葉が示すように,人同士の関係性は呼吸の同調と密接に関係している.本研究は人とロボットの間の関係構築について呼吸同調の観点から以下の3点に取り組む.1. 対話ロボットに,人の呼吸状態を推定する機能と,ロボット自体の擬似的な呼吸を実装することで,呼吸同調によって生じさせ得る対話インタラクション上の諸効果を明らかにする.2. 1.の過程で,人・人対話と,人・ロボット対話で,呼吸活動に見られる違いをを明らかにする.3. 1.の一部として,深層学習を用いた非接触型呼吸状態推定手法を開発する.そのために,呼吸情報の付随した大規模なマルチモーダル対話データセットを構築し公開する.
本年度は,以下の3つの課題に取り組んだ.すなわち,(I) 呼吸情報付き対話動画データセットの構築,(II) 画像と音声を入力とする深層学習 を用いた呼吸状態推定手法の開発と評価,(III) 人・人対話における呼吸の同調に関する分析,の3課題である.(I)について,10月に1ヶ月かけてデータ収録実験を実施した.収録実験は,個人差と状況の多様性をカバーするため,男女半数の80名の参加者を募集して行った.その後,データファイル間の同期やずれの有無の確認などの整理をし,課題(II ), (III) で使用できる形式に変換処理を行ってデータセットとしての整備を進めた.(II)の推定手法の開発については,(I)と並行して行った.まず研究の目的に鑑み,従来は波形の絶対値を推定していたが,波形の勾配を推定することにした.波形勾配の推定に評価指標を提案するとともに,波形勾配を用いることで,絶対値を用いいる場合よりも,発話の有無の予測精度を改善できることを確認した.発話音声の情報や深度画像情報などを統合については,基礎的な検討を試行しているところである.(III)については,(I)のデータ収録後に,研究協力者と共に分析を始めている.まだ予備的な段階であるが,顔見知り同士の参加者ペアと,他人同士の参加者ペアの間で,呼吸の同調傾向に違いが見られた.さらに次年度で計画しているヒューマンロボットインタラクション実験に用いるロボットの選定も済ませ,およその実験デザインを固めた.
2: Research has progressed on the whole more than it was originally planned.
計画通りにデータ収集実験を実施し完了した.現在,収集したデータの整備を進めている.収集したデータを用いた呼吸推定技術の研究も進めており,データの公表と論文発表のための準備を進めている.また,収集したデータを予備的に分析した結果,顔見知り同士の参加者ペアと,他人同士の参加者ペアの間で,呼吸の同調傾向に違いが見られた.今後,研究協力者と共にデータの分析を進め,得られた知見を論文として発表する予定である.次年度に計画しているヒューマンロボットインタラクション実験に用いるロボットの選定も済ませた.
当初の計画通りに進める.