2022 Fiscal Year Annual Research Report
Social Expression for Dialogue Robots with focus on Individuality
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
22H04875
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
石井 カルロス寿憲 株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, グループリーダー (30418529)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | 音声情報処理 / 非言語情報処理 / パラ言語情報処理 / 人ロボットインタラクション / 音環境知能 |
|---|
| Outline of Annual Research Achievements |
本研究では、発話に伴う、人間らしい自然な話し方と振る舞い方を持つ対話ロボット・エージェントを実現する。特に、状況や対話相手を認識し、それらに応じて発話に伴う、人間らしい話し方と振る舞い方を、個人性も考慮したうえで表出可能な対話ロボット・エージェントを実現することを目的としている。
複数人とインタラクションする対話ロボットの視線動作生成に関する研究においては、人同士のマルチモーダル対話データから視線逸らしの時間や黒目の向きなどの分布パラメータを学習し、ロボットの視線制御を行った。また、これらの分布パラメータを変えることによって、外向性の印象を変えることができる仮説を小型ロボットCommUおよびアンドロイドNikolaを用いて被験者実験を通して検証した。
条件付きGANモデルによる手振りと上半身の動作を生成する手法を提案し、条件に動きの大きさと速さによって分割したデータでモデルを学習することにより、３段階で動きを生成することができ、それが外向性の印象を明示的に制御できることを、被験者実験を通して確認した。
状況認識においては、深層学習による感情音声認識の研究を進め、隠れ表現へのレギュレーションによる、学習コーパスにオーバーフィットしにくいロバストな学習法を提案した。
自然会話に出現する自発的な「楽しい笑い」と社会的な「愛想笑い」の音声特徴の分析にも取り組んできた。対話ロボットの笑いの適切な表出および相手の笑いの意図の理解は、自然な対話インタラクションに重要な課題である。笑いには個人性と社会的機能によって音声特性が変わる。楽しい笑いには話者間で共通したパターンが観測された一方、愛想笑いには、強い気息音を含む、気息音を全く含まない、鼻音を含むなど、話者によって表出のバリエーションが多い傾向がみられた。この成果は日本音響学会関西支部の若手研究会で注目を浴び、最優秀奨励賞を受賞した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
複数の角度から社会的表出の実現に向けた研究に取り組んでおり、論文誌２件、査読付きの国際会議論文５件と、それぞれの成果も順調にアウトプットされており、研究は順調に進んでいる。
|
| Strategy for Future Research Activity |
次年度の研究の推進方策として、各項目において、モデルの改善を試み、モデルの効果を検証して論文誌にまとめる予定である。
視線動作生成においては、外向性の印象は音声によって大きく変化するため、発話スタイルと視線動作のバランスによって外向性の印象がどのように変わるかは今後の課題である。
条件付きGANモデルによる手振りと上半身の動作を生成においては、生成された動きがより滑らかになるようにdiffuse denoising model による深層学習法も試みる予定である。
状況認識においては、ロボットの対話相手の感情を認識することにより、それに同調したロボットの感情表出を可能にする。
自然会話に出現する笑いの分析においては、音響的特徴も分析し、自発的な楽しい笑いと社会的な意図的笑いの違いを明らかにし、対話ロボットのインタラクションに活用する予定である。
|
