| 研究領域 | 人間機械共生社会を目指した対話知能システム学 |
|---|
| 研究課題/領域番号 |
20H05576
|
|---|
| 研究種目 |
新学術領域研究(研究領域提案型)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
複合領域
|
|---|
| 研究機関 | 株式会社国際電気通信基礎技術研究所 |
|---|
研究代表者 |
石井 カルロス寿憲 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, グループリーダー (30418529)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
23,270千円 (直接経費: 17,900千円、間接経費: 5,370千円)
2021年度: 11,700千円 (直接経費: 9,000千円、間接経費: 2,700千円)
2020年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円)
|
|---|
| キーワード | 音声情報処理 / 非言語情報処理 / パラ言語情報処理 / 人ロボットインタラクション / 音環境知能 / 社会的表出 / 動作生成 / アンドロイド / 人型ロボット / 対話状況認識 |
|---|
| 研究開始時の研究の概要 |
従来のロボットやエージェントは、状況に合った適切な表出ができず、話し方もその動作も単調で人間らさが十分でない。本研究では、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」（Social Expression, SE）の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装する。インタラクションに関連する話し方および振る舞い方のパラメータを重視し、深層学習技術などに基づいたSEモデルの学習とその効果の検証を実施する。この研究により、人はロボットやエージェントとより自然に関われるようになり、ロボットやエージェントの利用範囲が格段に広がる。
|
| 研究実績の概要 |
本研究では、発話に伴う人間らしい自然な話し方と動作を持つ対話ロボット・エージェントの実現を目的とする。特に、対話相手や状況に応じて人はどのように表出を変えるのかを表現できる「社会的表出」の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装することを目指している。
初年度は、アンドロイドの丁寧な表出や怒りの表出について、人らしい振る舞いを実装し、ロボットが人を説得するタスクにおいて、どのような振る舞いが適しているのかについて評価実験を行ってきた。また、状況に合った視線制御のために３者対話に現れる視線および視線逸らしの理由の分析や、対話状況認識の観点から、深層学習による感情音声認識、ロボットに向けた暴言と冗談の識別などの研究にも取り組んできた。
今年度は、視線動作およびジェスチャ生成による個性の表出に取り組んだ。視線制御においては、眼球の動きも考慮し、３者対話データから参与役割を考慮した視線対象および視線逸らしの割合の分布および時間分布、視線を逸らした際の黒目の向きの分布を話者ごとに算出した。これらの分布をもとに、小型ロボットCommUに視線動作を実装し、被験者実験による印象評定を行った。外向性が異なる２人の話者のモデルによって生成した視線動作を評価した結果、同じ音声でも外向性の印象が変わることを確認した。
ジェスチャ生成においては、入力音声から抽出される韻律特徴を条件としたWGANによる手振りジェスチャを生成する深層学習モデルを構築し、人らしい自然な動作を生成できることを確認した。また、このモデルを拡張して、手の動きの大きさ・速さによって分類された３つのカテゴリーのラベルを条件に加えてモデルを再学習した。各カテゴリーを入力した際の動作を印象評定した結果、外向性の印象と相関した動作が生成できることをCGアバターおよび小型ロボットCommUにおいて確認した。
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
