| 研究領域 | 人間機械共生社会を目指した対話知能システム学 |
|---|
| 研究課題/領域番号 |
20H05562
|
|---|
| 研究機関 | 豊橋技術科学大学 |
|---|
研究代表者 |
北岡 教英 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2022-03-31
|
| キーワード | フォトリアルCG / 音声対話 / マルチモーダル対話 |
|---|
| 研究実績の概要 |
将来の人間－機械協奏社会を考えたとき，機械側のインタフェースが限りなく人間に近い姿をさせることを考える。そこで我々は，本物の人間と区別がつかないレベルの3D CGで描かれリアルに動作する「Saya」をエージェントとして音声・マルチモーダル対話を行えるシステムを構築した。Sayaは実在感を得るため，皮膚や眼球，髪の毛に至るまでハンドメイドで作成した。またパフォーマンスキャプチャで，実在する人間の動作，表情を収録し，個性を付与する事で，独特のゆらぎと不確実性を表現する。様々な動作をレンダリングした映像をあらかじめ作成し，それらを接続している。音声合成には，ESPnet2において実装されているTacotron 2+ParallelWaveGANを用いている。OpenJTalkのイントネーション制御の一部を用いて高品質化している。赤外線カメラでは、画像に基づいて，顔向きや視線の検出，マスク・サングラスの有無の判定，発話有無の判定（Visual VAD），うなずきや首振りの検出を行っている。RGBカメラとしては4KのWebカメラを用いている。この画像からは，顔検出に基づいた顔画像処理，手検出に基づいたジェスチャ認識，さらに周囲の映像を用いた種々の認識を行っている。対話制御部は，MMDAgentにおいて開発されたものを改良して用いている。基本的には音声認識結果中の単語駆動によるオートマトン制御であるが，SQLと連携して記憶機能を実装したことにより，対話履歴における様々な話題を記憶しておくことが可能となった。また、雑談チャットボットシステムと相互に行き来することも可能になった。雑談チャットボットは、単純に雑談を行うだけではなく、雑談をしながらある特定の質問に話題を近づけていき、いずれその質問をすると言う、雑談に質問を織り交ぜるための質問誘導モデルを構築し、実際に対話システムに実装した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
フォトリアルCGエージェントSayaを用いたシステムが実際に動作し、様々な研究成果を盛り込んだ。対話制御にはシナリオ駆動のオートマトン制御にメモリ機能を追加したPush-downオートマトン制御を導入するとともに、一つの状態を雑談チャットボットによる対話に対応させることでシナリオ対話と雑談対話を行き来することを可能とした。音声合成では、韻律制御記号を入力に付与することで簡単に、大幅に音声の声質を向上した。エージェントの制御には、様々な認知科学的知見を取り入れて、対話の発話時やユーザ発話を聞いているときの体の動きや視線の動きまでを人間を模倣するようにし、非常に自然に対話を行えるようにした。これらの成果はアイシンからのプレスリリースやYouTubeでの発信が行われた。さらに、著名人との対談企画に参加し、著名人と対話している映像がWeb企画「「学校総選挙プロジェクト」においてその映像が公開された。
|
| 今後の研究の推進方策 |
雑談対話は、まだ話し手が合わせる必要が多くある。これをできる限りなくすような雑談チャットボットを開発する。その際にはSayaのパーソナリティなどを反映した「Sayaらしい」発話を目指す。音声認識および音声合成を高速化してよりリアルタイムで反応できるようにするとともに、並行して開発している、リアルタイムで応答も生成できる対話制御機構をSayaと結合する。こうして完成した対話システムは、ビルの案内役や高齢者施設における話し相手などの現場において実証実験する。収集した音声データを分析して対話制御の高精度化や音声認識の高度化などを図る。
|
