2021 Fiscal Year Annual Research Report
Base technology of "Social Expression" for dialogue robots
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
20H05576
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
石井 カルロス寿憲 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, グループリーダー (30418529)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | 音声情報処理 / 非言語情報処理 / パラ言語情報処理 / 人ロボットインタラクション / 音環境知能 |
|---|
| Outline of Annual Research Achievements |
本研究では、発話に伴う人間らしい自然な話し方と動作を持つ対話ロボット・エージェントの実現を目的とする。特に、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装することを目指している。
初年度は、アンドロイドの丁寧な表出や怒りの表出について、人らしい振る舞いを実装し、ロボットが人を説得するタスクにおいて、どのような振る舞いが適しているのかについて評価実験を行ってきた。また、状況に合った視線制御のために３者対話に現れる視線および視線逸らしの理由の分析や、対話状況認識の観点から、深層学習による感情音声認識、ロボットに向けた暴言と冗談の識別などの研究にも取り組んできた。
今年度は、視線動作およびジェスチャ生成による個性の表出に取り組んだ。視線制御においては、眼球の動きも考慮し、３者対話データから参与役割を考慮した視線対象および視線逸らしの割合の分布および時間分布、視線を逸らした際の黒目の向きの分布を話者ごとに算出した。これらの分布をもとに、小型ロボットCommUに視線動作を実装し、被験者実験による印象評定を行った。外向性が異なる２人の話者のモデルによって生成した視線動作を評価した結果、同じ音声でも外向性の印象が変わることを確認した。
ジェスチャ生成においては、入力音声から抽出される韻律特徴を条件としたWGANによる手振りジェスチャを生成する深層学習モデルを構築し、人らしい自然な動作を生成できることを確認した。また、このモデルを拡張して、手の動きの大きさ・速さによって分類された３つのカテゴリーのラベルを条件に加えてモデルを再学習した。各カテゴリーを入力した際の動作を印象評定した結果、外向性の印象と相関した動作が生成できることをCGアバターおよび小型ロボットCommUにおいて確認した。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Research Products
(15 results)
