Base technology of "Social Expression" for dialogue robots
Publicly Offered Research
Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
Project/Area Number |
20H05576
|
Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
Allocation Type | Single-year Grants |
Review Section |
Complex systems
|
Research Institution | Advanced Telecommunications Research Institute International |
Principal Investigator |
石井 カルロス寿憲 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, グループリーダー (30418529)
|
Project Period (FY) |
2020-04-01 – 2022-03-31
|
Project Status |
Completed (Fiscal Year 2021)
|
Budget Amount *help |
¥23,270,000 (Direct Cost: ¥17,900,000、Indirect Cost: ¥5,370,000)
Fiscal Year 2021: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
Fiscal Year 2020: ¥11,570,000 (Direct Cost: ¥8,900,000、Indirect Cost: ¥2,670,000)
|
Keywords | 音声情報処理 / 非言語情報処理 / パラ言語情報処理 / 人ロボットインタラクション / 音環境知能 / 社会的表出 / 動作生成 / アンドロイド / 人型ロボット / 対話状況認識 |
Outline of Research at the Start |
従来のロボットやエージェントは、状況に合った適切な表出ができず、話し方もその動作も単調で人間らさが十分でない。本研究では、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」(Social Expression, SE)の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装する。インタラクションに関連する話し方および振る舞い方のパラメータを重視し、深層学習技術などに基づいたSEモデルの学習とその効果の検証を実施する。この研究により、人はロボットやエージェントとより自然に関われるようになり、ロボットやエージェントの利用範囲が格段に広がる。
|
Outline of Annual Research Achievements |
本研究では、発話に伴う人間らしい自然な話し方と動作を持つ対話ロボット・エージェントの実現を目的とする。特に、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装することを目指している。 初年度は、アンドロイドの丁寧な表出や怒りの表出について、人らしい振る舞いを実装し、ロボットが人を説得するタスクにおいて、どのような振る舞いが適しているのかについて評価実験を行ってきた。また、状況に合った視線制御のために3者対話に現れる視線および視線逸らしの理由の分析や、対話状況認識の観点から、深層学習による感情音声認識、ロボットに向けた暴言と冗談の識別などの研究にも取り組んできた。 今年度は、視線動作およびジェスチャ生成による個性の表出に取り組んだ。視線制御においては、眼球の動きも考慮し、3者対話データから参与役割を考慮した視線対象および視線逸らしの割合の分布および時間分布、視線を逸らした際の黒目の向きの分布を話者ごとに算出した。これらの分布をもとに、小型ロボットCommUに視線動作を実装し、被験者実験による印象評定を行った。外向性が異なる2人の話者のモデルによって生成した視線動作を評価した結果、同じ音声でも外向性の印象が変わることを確認した。 ジェスチャ生成においては、入力音声から抽出される韻律特徴を条件としたWGANによる手振りジェスチャを生成する深層学習モデルを構築し、人らしい自然な動作を生成できることを確認した。また、このモデルを拡張して、手の動きの大きさ・速さによって分類された3つのカテゴリーのラベルを条件に加えてモデルを再学習した。各カテゴリーを入力した際の動作を印象評定した結果、外向性の印象と相関した動作が生成できることをCGアバターおよび小型ロボットCommUにおいて確認した。
|
Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(26 results)