2021 Fiscal Year Annual Research Report
楽しい雑談対話の要因解明のためのリアルなＣＧとのマルチモーダル対話システム構築
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
20H05562
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | フォトリアルCG / 音声対話 / マルチモーダル対話 |
|---|
| Outline of Annual Research Achievements |
将来の人間－機械協奏社会を考えると，機械がいかに人間に近い存在になり自然で容易にコミュニケーションが取れるようになるかは重要な課題となる。人間に近い姿をすることは一つの可能性であり、我々は本物の人間と区別がつかない3D CG「Saya」に注目し，Sayaをエージェントとして音声・マルチモーダル対話を行えるシステムの構築を行った。
みかけがリアルである分、音声対話の応答内容もリアルでないと不釣り合いになる。そうしたリアルな応答生成の手段として、ChatGPTが大きく取り上げられる中、履歴から次の発話を生成するのみのChatGPTのような生成モデルでは内容が制御しにくいという問題がある。それに対してどのような話題で応答を生成したいかを与えてその話題に近い発話をするようなデータセットを用意し、それによってファインチューニングすることで、応答生成時にも話題を与えることで話題を制御できる方法を考案した。
また、こうして生成された応答を、相手が話しを終えて発話権が移ったうえで音声として発する必要がある。そのために、今の相手の発話の切れ目（無音）を発話終端とみなして話してよいかどうかを判定する発話終端検出手法を提案した。そして、提案しているROSベースのリアルタイム音声対話システム上に実装した。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
