楽しい雑談対話の要因解明のためのリアルなCGとのマルチモーダル対話システム構築
Publicly Offered Research
Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
Project/Area Number |
20H05562
|
Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
Allocation Type | Single-year Grants |
Review Section |
Complex systems
|
Research Institution | Toyohashi University of Technology |
Principal Investigator |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
|
Project Period (FY) |
2020-04-01 – 2022-03-31
|
Project Status |
Completed (Fiscal Year 2021)
|
Budget Amount *help |
¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2020: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
|
Keywords | フォトリアルCG / 音声対話 / マルチモーダル対話 / CGエージェント |
Outline of Research at the Start |
人間-機械共生・協奏を目指し、リアルなアンドロイドやCG エージェントとの、より人間らしい楽しめる対話・雑談ができることが必要となってきた。そこで、フォトリアルな高校生CG エージェント「Saya」に着目し、まるで人間と話すかのように音声や表情・視線を用いたマルチモーダル対話ができるシステムを構築し、「音声・マルチモーダル対話が楽しめる要因は何か?」を明らかにする。そのために、雑談対話に必要な実時間で高精度な音声・表情・ジェスチャ認識、多様な入出力や文脈に合わせた韻律・ジェスチャ制御に基づく応答生成、を実現し、フォトリアリスティックなCG との対話システムを構築して対話実験を行う。
|
Outline of Annual Research Achievements |
将来の人間-機械協奏社会を考えると,機械がいかに人間に近い存在になり自然で容易にコミュニケーションが取れるようになるかは重要な課題となる。人間に近い姿をすることは一つの可能性であり、我々は本物の人間と区別がつかない3D CG「Saya」に注目し,Sayaをエージェントとして音声・マルチモーダル対話を行えるシステムの構築を行った。 みかけがリアルである分、音声対話の応答内容もリアルでないと不釣り合いになる。そうしたリアルな応答生成の手段として、ChatGPTが大きく取り上げられる中、履歴から次の発話を生成するのみのChatGPTのような生成モデルでは内容が制御しにくいという問題がある。それに対してどのような話題で応答を生成したいかを与えてその話題に近い発話をするようなデータセットを用意し、それによってファインチューニングすることで、応答生成時にも話題を与えることで話題を制御できる方法を考案した。 また、こうして生成された応答を、相手が話しを終えて発話権が移ったうえで音声として発する必要がある。そのために、今の相手の発話の切れ目(無音)を発話終端とみなして話してよいかどうかを判定する発話終端検出手法を提案した。そして、提案しているROSベースのリアルタイム音声対話システム上に実装した。
|
Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(14 results)