| 研究領域 | 人間機械共生社会を目指した対話知能システム学 |
|---|
| 研究課題/領域番号 |
20H05562
|
|---|
| 研究種目 |
新学術領域研究(研究領域提案型)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
複合領域
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
11,700千円 (直接経費: 9,000千円、間接経費: 2,700千円)
2021年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
2020年度: 5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円)
|
|---|
| キーワード | フォトリアルCG / 音声対話 / マルチモーダル対話 / CGエージェント |
|---|
| 研究開始時の研究の概要 |
人間-機械共生・協奏を目指し、リアルなアンドロイドやCG エージェントとの、より人間らしい楽しめる対話・雑談ができることが必要となってきた。そこで、フォトリアルな高校生CG エージェント「Saya」に着目し、まるで人間と話すかのように音声や表情・視線を用いたマルチモーダル対話ができるシステムを構築し、「音声・マルチモーダル対話が楽しめる要因は何か？」を明らかにする。そのために、雑談対話に必要な実時間で高精度な音声・表情・ジェスチャ認識、多様な入出力や文脈に合わせた韻律・ジェスチャ制御に基づく応答生成、を実現し、フォトリアリスティックなCG との対話システムを構築して対話実験を行う。
|
| 研究実績の概要 |
将来の人間－機械協奏社会を考えると，機械がいかに人間に近い存在になり自然で容易にコミュニケーションが取れるようになるかは重要な課題となる。人間に近い姿をすることは一つの可能性であり、我々は本物の人間と区別がつかない3D CG「Saya」に注目し，Sayaをエージェントとして音声・マルチモーダル対話を行えるシステムの構築を行った。
みかけがリアルである分、音声対話の応答内容もリアルでないと不釣り合いになる。そうしたリアルな応答生成の手段として、ChatGPTが大きく取り上げられる中、履歴から次の発話を生成するのみのChatGPTのような生成モデルでは内容が制御しにくいという問題がある。それに対してどのような話題で応答を生成したいかを与えてその話題に近い発話をするようなデータセットを用意し、それによってファインチューニングすることで、応答生成時にも話題を与えることで話題を制御できる方法を考案した。
また、こうして生成された応答を、相手が話しを終えて発話権が移ったうえで音声として発する必要がある。そのために、今の相手の発話の切れ目（無音）を発話終端とみなして話してよいかどうかを判定する発話終端検出手法を提案した。そして、提案しているROSベースのリアルタイム音声対話システム上に実装した。
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
