音声対話システムのための言語的・メタ言語的知識の構築に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 03J52401
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 船越 孝太郎 東京工業大学, 大学院・情報理工学研究科, 特別研究員(DC2)
• Keywords: 音声対話 / 自然言語処理 / 談話 / 知識 / 対話コーパス / マルチモーダル

Research Abstract

対話における,聞き手の誤解や話し手の意図の変更に伴う割り込みと修正を観察するために,心理言語学を専門とする研究者の協力を得て映像付き音声対話データを採集した.対話の種類は,二名一組の対話者からなる共同問題解決対話である.二名の対話者はそれぞれ指示者と行動者のいずれかの役割を分担し,指示者にだけ与えられる視覚的なヒントを基にタングラムパズルを解く.パズルの直接的な操作は行動者にだけ許され,指示者は行動者に音声で指示を与えることでしかパズルを操作できない.このような課題設定で対話を収集する事で,多くの修正が現れる対話を採集できた.
音声の収録に加え,解決過程におけるパズルの状態と両対話者の表情を撮影し,対話数35,合計8時間のマルチモーダルコーパスを構築した.映像付き対話コーパスは希少でその価値は高い.また現存するほとんどの対話コーパスが,情報探索や宿泊予約など音声での情報交換に限定された問題領域を対象としており,行動を伴う対話を扱った本コーパスは貴重な言語資源である.
音声はすべて時問情報付きのテキストに書き起こした.また,ビデオ映像と書き起こしを同期させて再生できるツールを作成した.これらを利用する事で効率的に対話を観察できる.
コーパスは一組の対話者が二つのパズル課題に取り組むように設計されており,役割を交代する場合/しない場合での対話の変化なども観察できる様に考慮されている.そのため,対話における言語運用の変化に関する研究等にも利用できる.