| 研究概要 |
本研究では,対象物の空間的配置,言語表現に加え,話者の視線情報を併用する新しい参照表現の理解・生成のモデルを構築することを目的とし,以下の2つの課題を設定している.
1. 日本語の対話における話者の視線情報を含む参照表現コーパスの作成
2. 視線情報を利用した参照表現の理解と生成モデルの構築
今年度はまず参照表現コーパスの作成を中心に研究をおこなった.話者の視線を計測するために,視線計測装置(Tobii T-60)を購入し,これを駆動するためのソフトウェアの開発をおこなった.また課題として用いる幾何パズルのシミュレータを作成し,実験環境を整えた.26組(56名)の被験者に対して3種類の幾何パズル(タングラム,ダブルタングラム,ポリオミノ)を協調的に解かせる課題を与え,この時の対話音声に同期して,パズルに対する操作,パズルピースの位置,対話者の画面上の視線を記録した.パズルの問題は各組に対しタングラムとポリオミノでは4題,ダブルタングラムでは6題を与えた.合計126対話を収録したが,これらのうちから視線データが70%以上の割合で計測できたもの83対話を選択し,これらの音声を書き起し,さらに発話中の参照表現を抽出し,その指示対象と統語的・意味的属性をアノテーションした.その結果,日本はもとより,国際的にも類をみない規模の高精度の情報を付与した参照表現コーパスを構築した.また,従来から盛んに研究されている英語と比較するために同じ実験環境で英語についても6組24対話を収録した.
|
