Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
雑談対話を行える音声対話システムの研究開発が活発化している。人間同士の対話では、対話相手に関する知識と対話相手の様子から「話題を変える」「掘り下げて盛り上げる」など話す内容・種別を臨機応変に使い分けて対話を楽しんでいる。さらに音声だけでなくジェスチャや視線などのモダリティも用いて雑談する。そこで、リアルな出力モダリティをもつエージェントに音声・視線・ジェスチャを扱うマルチモーダル対話システムを組み込み人間と対話させることで、マルチモーダル表出を中心に実証的に雑談対話の楽しさとは何かを探る。同時に、システム発話の発話内容・応答スタイル・表情やジェスチャを統合した応答生成法を明らかにする。
将来の人間－機械協奏社会を考えると，機械がいかに人間に近い存在になり自然で容易にコミュニケーションが取れるようになるかは重要な課題となる。人間に近い姿をすることは一つの可能性であり、我々は本物の人間と区別がつかない3D CG「Saya」に注目し，Sayaをエージェントとして音声・マルチモーダル対話を行えるシステムの構築を行った。みかけがリアルである分、音声対話の応答内容もリアルでないと不釣り合いになる。そうしたリアルな応答生成の手段として、ChatGPTが大きく取り上げられる中、履歴から次の発話を生成するのみのChatGPTのような生成モデルでは内容が制御しにくいという問題がある。それに対してどのような話題で応答を生成したいかを与えてその話題に近い発話をするようなデータセットを用意し、それによってファインチューニングすることで、応答生成時にも話題を与えることで話題を制御できる方法を考案した。また、こうして生成された応答を、相手が話しを終えて発話権が移ったうえで音声として発する必要がある。そのために、今の相手の発話の切れ目（無音）を発話終端とみなして話してよいかどうかを判定する発話終端検出手法を提案した。そして、提案しているROSベースのリアルタイム音声対話システム上に実装した。構築した対話システムは多くの場所で設置してフィールド試験を実施している。
2: Research has progressed on the whole more than it was originally planned.
予定していたマルチモーダル対話システムが完成に近づいている。大規模言語モデルを用いた発話生成と、その発話タイミングの制御を行う発話終端検出やタイミング生成モデルはそれぞれに作成され、評価された。また、マルチモダリティとして視線や顔向きの出力ができるが、これらに関しては過去の研究の知見である、話している間は目をそらして終わりに近づくと目を合わせるなどの動作を実装してその自然性を評価した。さらに、カメラを用いた人間の頭部動作や視線の検出なども実装された。実証実験として高齢者施設への設置を考えているが、コロナ規制が緩和されたことで実際に実施できることを期待している。
個々の技術が実装・評価されてきたので、一つのリアルタイム音声・マルチモーダル対話システムとして組み上げることを早急に行う。そのうえで、高齢者施設に設置して対話の継続性やリピート率などの評価を行う。さまざまな設定でのシステムを入れ替えながら評価し、それぞれの設定（音声のタイミング、視線の合わせ方、など）のどれが雑談を長期化させたり楽しませたりする要因になっているのかを探り出す。
All 2023 2022
All Journal Article (2 results) (of which Peer Reviewed: 1 results, Open Access: 2 results) Presentation (3 results) (of which Int'l Joint Research: 1 results)
Transactions of the Japanese Society for Artificial Intelligence
Volume: 37 Issue: 3 Pages: IDS-F_1-13
10.1527/tjsai.37-3_IDS-F
THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN
Volume: 78 Issue: 5 Pages: 257-264
10.20697/jasj.78.5_257
