Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
人間-機械共生・協奏を目指し、リアルなアンドロイドやCG エージェントとの、より人間らしい楽しめる対話・雑談ができることが必要となってきた。そこで、フォトリアルな高校生CG エージェント「Saya」に着目し、まるで人間と話すかのように音声や表情・視線を用いたマルチモーダル対話ができるシステムを構築し、「音声・マルチモーダル対話が楽しめる要因は何か？」を明らかにする。そのために、雑談対話に必要な実時間で高精度な音声・表情・ジェスチャ認識、多様な入出力や文脈に合わせた韻律・ジェスチャ制御に基づく応答生成、を実現し、フォトリアリスティックなCG との対話システムを構築して対話実験を行う。
将来の人間－機械協奏社会を考えると，機械がいかに人間に近い存在になり自然で容易にコミュニケーションが取れるようになるかは重要な課題となる。人間に近い姿をすることは一つの可能性であり、我々は本物の人間と区別がつかない3D CG「Saya」に注目し，Sayaをエージェントとして音声・マルチモーダル対話を行えるシステムの構築を行った。みかけがリアルである分、音声対話の応答内容もリアルでないと不釣り合いになる。そうしたリアルな応答生成の手段として、ChatGPTが大きく取り上げられる中、履歴から次の発話を生成するのみのChatGPTのような生成モデルでは内容が制御しにくいという問題がある。それに対してどのような話題で応答を生成したいかを与えてその話題に近い発話をするようなデータセットを用意し、それによってファインチューニングすることで、応答生成時にも話題を与えることで話題を制御できる方法を考案した。また、こうして生成された応答を、相手が話しを終えて発話権が移ったうえで音声として発する必要がある。そのために、今の相手の発話の切れ目（無音）を発話終端とみなして話してよいかどうかを判定する発話終端検出手法を提案した。そして、提案しているROSベースのリアルタイム音声対話システム上に実装した。
令和3年度が最終年度であるため、記入しない。
All 2023 2022 2021
All Journal Article (5 results) (of which Peer Reviewed: 3 results, Open Access: 4 results) Presentation (9 results) (of which Int'l Joint Research: 3 results)
Transactions of the Japanese Society for Artificial Intelligence
Volume: 37 Issue: 3 Pages: IDS-F_1-13
10.1527/tjsai.37-3_IDS-F
THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN
Volume: 78 Issue: 5 Pages: 257-264
10.20697/jasj.78.5_257
Speech Communication
Volume: 133 Pages: 23-30
10.1016/j.specom.2021.07.003
EURASIP Journal on Audio, Speech, and Music Processing
Volume: 2021 Issue: 1 Pages: 1-8
10.1186/s13636-020-00193-1
自動車技術
Volume: 75 Pages: 9-9
