|
1、 特定場面での対話型CALLシステムを開発するのに必要な対話シナリオを検討し、その検討結果に基づき想定する対話場面での英語表現を被験者約25名から収集し、対話型CALLシステム開発用の英訳コーパスを開発した。更に、これを基に種々の言語モデルや音響モデルを活用可能な分散型の音声認識エンジンをベースとして対話型CALLシステムのプロトタイプを構築した。また、学習者の音声認識性能を向上させるため、音響モデル適応手法の導入についても検討を進めた。
2、 様々な素性を取り込んで日本人話者による英語発話の認識性能を一層向上させる手法として、最大エントロピー法に基づく手法について検討を進め、本手法に基づき言語モデルの適応化を行うプログラムの開発を進めた。また、誤りを含む発話を英語母語話者の発話に対応付ける手法として、bag of wordsモデルに基づく手法について検討を進めた。
3、 対話者間の話者交代を予測するモデルの構築を目的として収集したマルチモーダルな対話コーパスに対し、音声発話以外の情報として、身体動作、視線の動き、韻律などの情報に関してタグ付けを行い、話者交代をSVMで予測を行う手法について実験を進めた。この結果、視線情報は話者交代の予測に効果があることが明らかになったので、この結果をまとめ、Interspeechで発表を行った。なお、話者間の関連をより精密にモデル化するためのデータ収集を目的として多数話者の会話時の発話、視線情報、身体動作などを同時計測するシステムを構築した。
|
