Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
従来のロボットやエージェントは、状況に合った適切な表出ができず、話し方もその動作も単調で人間らさが十分でない。本研究では、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」（Social Expression, SE）の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装する。インタラクションに関連する話し方および振る舞い方のパラメータを重視し、深層学習技術などに基づいたSEモデルの学習とその効果の検証を実施する。この研究により、人はロボットやエージェントとより自然に関われるようになり、ロボットやエージェントの利用範囲が格段に広がる。
本研究では、発話に伴う人間らしい自然な話し方と動作を持つ対話ロボット・エージェントの実現を目的とする。特に、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装することを目指している。初年度は、アンドロイドの丁寧な表出や怒りの表出について、人らしい振る舞いを実装し、ロボットが人を説得するタスクにおいて、どのような振る舞いが適しているのかについて評価実験を行ってきた。また、状況に合った視線制御のために３者対話に現れる視線および視線逸らしの理由の分析や、対話状況認識の観点から、深層学習による感情音声認識、ロボットに向けた暴言と冗談の識別などの研究にも取り組んできた。今年度は、視線動作およびジェスチャ生成による個性の表出に取り組んだ。視線制御においては、眼球の動きも考慮し、３者対話データから参与役割を考慮した視線対象および視線逸らしの割合の分布および時間分布、視線を逸らした際の黒目の向きの分布を話者ごとに算出した。これらの分布をもとに、小型ロボットCommUに視線動作を実装し、被験者実験による印象評定を行った。外向性が異なる２人の話者のモデルによって生成した視線動作を評価した結果、同じ音声でも外向性の印象が変わることを確認した。ジェスチャ生成においては、入力音声から抽出される韻律特徴を条件としたWGANによる手振りジェスチャを生成する深層学習モデルを構築し、人らしい自然な動作を生成できることを確認した。また、このモデルを拡張して、手の動きの大きさ・速さによって分類された３つのカテゴリーのラベルを条件に加えてモデルを再学習した。各カテゴリーを入力した際の動作を印象評定した結果、外向性の印象と相関した動作が生成できることをCGアバターおよび小型ロボットCommUにおいて確認した。
令和3年度が最終年度であるため、記入しない。
All 2021 2020
All Journal Article (14 results) (of which Peer Reviewed: 12 results, Open Access: 2 results) Presentation (12 results) (of which Int'l Joint Research: 10 results)
THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN
Volume: 77 Issue: 2 Pages: 112-119
10.20697/jasj.77.2_112
130007993002
IEEE Robotics and Automation Letters
Volume: 6 Issue: 4 Pages: 6521-6528
10.1109/lra.2021.3094783
Volume: 6 Issue: 4 Pages: 8037-8044
10.1109/lra.2021.3102974
APSIPA Transactions on Signal and Information Processing
Volume: 10 Issue: 1 Pages: 1-12
10.1017/atsip.2021.11
Electronics
Volume: 10 Issue: 3 Pages: 228-228
10.3390/electronics10030228
Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
Volume: - Pages: 6299-6303
10.1109/icassp39728.2021.9413640
Proc. Interspeech2021
Volume: - Pages: 1972-1976
10.21437/interspeech.2021-2134
Proc. of the 2021 International Conference on Multimodal Interaction (ICMI '21)
Volume: - Pages: 194-201
10.1145/3461615.3485407
Proc. of the 9th International Conference on Human-Agent Interaction (HAI21)
Volume: - Pages: 332-336
10.1145/3472307.3484653
Proc. of 28th European Signal Processing Conference (EUSIPCO 2020)
Volume: 1 Pages: 1-5
10.23919/eusipco47968.2020.9287484
Volume: 5 Issue: 4 Pages: 6081-6088
10.1109/lra.2020.3011354
Sensors
Volume: 20 Issue: 17 Pages: 4894-4894
10.3390/s20174894
Advanced Robotics
Volume: 34 Issue: 24 Pages: 1581-1590
10.1080/01691864.2020.1855244
Volume: 21 Issue: 1 Pages: 205-205
10.3390/s21010205
