公募研究
本研究では、発話に伴う人間らしい自然な話し方と動作を持つ対話ロボット・エージェントの実現を目的とする。特に、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装することを目指している。初年度は、アンドロイドの丁寧な表出や怒りの表出について、人らしい振る舞いを実装し、ロボットが人を説得するタスクにおいて、どのような振る舞いが適しているのかについて評価実験を行ってきた。また、状況に合った視線制御のために３者対話に現れる視線および視線逸らしの理由の分析や、対話状況認識の観点から、深層学習による感情音声認識、ロボットに向けた暴言と冗談の識別などの研究にも取り組んできた。今年度は、視線動作およびジェスチャ生成による個性の表出に取り組んだ。視線制御においては、眼球の動きも考慮し、３者対話データから参与役割を考慮した視線対象および視線逸らしの割合の分布および時間分布、視線を逸らした際の黒目の向きの分布を話者ごとに算出した。これらの分布をもとに、小型ロボットCommUに視線動作を実装し、被験者実験による印象評定を行った。外向性が異なる２人の話者のモデルによって生成した視線動作を評価した結果、同じ音声でも外向性の印象が変わることを確認した。ジェスチャ生成においては、入力音声から抽出される韻律特徴を条件としたWGANによる手振りジェスチャを生成する深層学習モデルを構築し、人らしい自然な動作を生成できることを確認した。また、このモデルを拡張して、手の動きの大きさ・速さによって分類された３つのカテゴリーのラベルを条件に加えてモデルを再学習した。各カテゴリーを入力した際の動作を印象評定した結果、外向性の印象と相関した動作が生成できることをCGアバターおよび小型ロボットCommUにおいて確認した。
令和3年度が最終年度であるため、記入しない。
すべて 2021
すべて 雑誌論文 (9件) (うち査読あり 7件) 学会発表 (6件) (うち国際学会 6件)
IEEE Robotics and Automation Letters
巻: 6 ページ: 6521～6528
10.1109/LRA.2021.3094783
巻: 6 ページ: 8037～8044
10.1109/LRA.2021.3102974
APSIPA Transactions on Signal and Information Processing
巻: 10 ページ: 1-12
10.1017/ATSIP.2021.11
日本音響学会誌
巻: 77 ページ: 112～119
10.20697/jasj.77.2_112
Electronics
巻: 10 ページ: 228～228
10.3390/electronics10030228
Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
巻: - ページ: 6299-6303
10.1109/ICASSP39728.2021.9413640
Proc. Interspeech2021
巻: - ページ: 1972-1976
10.21437/Interspeech.2021-2134
Proc. of the 2021 International Conference on Multimodal Interaction (ICMI '21)
巻: - ページ: 194-201
10.1145/3461615.3485407
Proc. of the 9th International Conference on Human-Agent Interaction (HAI21)
巻: - ページ: 332-336
10.1145/3472307.3484653
