2020 Fiscal Year Research-status Report
A turn-taking system linked with dialogue understanding and utterance generation
| Project/Area Number |
20K19821
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
井上 昂治 京都大学, 情報学研究科, 助教 (10838684)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ターンテイキング / 音声対話システム / 会話ロボット / 言語理解 / 応答生成 |
|---|
| Outline of Annual Research Achievements |
まず、提案するターンテイキングシステムを実証するための音声対話システムの構築に取り組んだ。具体的には、傾聴、就職面接、研究室紹介、初対面対話のシステムを実装した。これらのシステムにおいて、従来のターンテイキング機能を実装した。従来の機能は２つで、固定時間ユーザが沈黙した場合にターンを取得するタイムアウト方式と、ユーザ発話の言語情報からターンが終了する確率を予測し、それを基にタイムアウトの時間を毎回決定する方法である。これらのシステムが上記のいずれのタスクにおいても実時間で動作することを確認した。さらに、提案するターンテイキングシステムの初期検討として、簡単な言語理解に基づいて上記の２つの方式を使い分ける方法も実装した。これにより被験者との対話実験において、特に就職面接でのターンテイキングが頑健になることを確認した。
続いて、本研究で提案するターンテイキングシステムについては、（１）データセットの整備と（２）アノテーション方法の検討を進めた。（１）データセットについては、合計100対話以上の対話データを整備し、言語情報だけでなく韻律情報を使用できるようにした。また、これらのデータを用いて、前述のターン終了予測モデルの学習を行った。（２）アノテーション方法については、言語理解に関する様々なアノテーションデータを精査し、ターンテイキングとの相関を調査した。この結果に基づき、ターンテイキングの事象の要因についてアノテーション方法を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
提案するターンテイキングシステムを実証するための音声対話システムが構築され、実時間で動作しているため。アノテーションについても、ターンテイキングと関連すると思わる言語理解に関する分析が進んでいるため。
|
| Strategy for Future Research Activity |
今後は、これまでに実施した分析に基づきターンテイキングの要因に関するアノテーション方法を確立および実施する。また、アノテーションデータを用いて言語理解や応答生成に基づくターンテイキングシステムを学習する。最終的には、これまでに実装した音声対話システム上へ実装し、提案するターンテイキングの有効性を検証する。
|
| Causes of Carryover |
対話データのアノテーションを次年度に実施するため。このアノテーションでは、複数人のアノテータに長期間に渡り作業を実施してもらう。その過程で、作業用コンピュータやデータ保存のためのファイルサーバを導入する。
|
