マルチモーダル・コミュニケーションにおける会話調整機能のモデル化

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14780258
• Research Institution: Chiba University
• Principal Investigator: 傳 康晴 千葉大学, 文学部, 助教授 (70291458)
• Keywords: マルチモーダル会話 / 非言語情報 / 会話コーパス / 視線行動 / 参与役割 / 頭部動作 / クラスター分析

Research Abstract

本研究の目的は、人間の対面コミュニケーションにおける会話調整過程を、言語情報のみならず、姿勢・身振り・表情などの非言語情報も考慮して、総合的に分析しモデル化することである。本年度は、マルチモーダル会話の収録と収録したデータにもとづく分析を行った。
1.マルチモーダル会話の収録
a)頭部・上体運動を記録した対話データ:頭部・上体動作の詳細な分析のために、モーションキャプチャ装置を備えた実験室で収録を行った。全12会話(約1時間40分)からなり、それぞれ被験者の正面・右側面映像、会話相手の正面映像、全景映像、転記テキスト、および当該区間の6つの磁気センサーのxyz座標値と方向角のデータを含む。
b)多人数会話データ:より日常に近い環境での収録のため、騒音の少ないラウンジに、収録機器を持ち込んで3人会話の収録を行った。コーパスは全36会話(約5時間40分)からなり、それぞれ各被験者の正面映像、全景映像、3チャンネル音声、および転記テキストを含む。
2.3人会話における視線構造の分析:3人会話における参与者たちの視線行動と参与役割との関連を分析した。各参与者がどこを見ているかを1フレームごとに記述し、発話終了付近での分布を調べたところ、話し手との視線交差が次話者になるための重要な要因であることがわかった。同時に、次話者にならない聞き手は自ら視線交差を避けることで、次話者になるのを辞退していることが示唆された。
3.頭部動作の言語学的分析:会話中の頭部動作に着目し、運動学的な特徴にもとづいて、基本要素を分類するという試みを行った。モーションキャプチャによって記録された運動データから頭部動作の特徴パラメータを抽出し、クラスター分析によって分類した。得られたクラスターの一部は直観的に感じる範疇とよく対応していたが、全般的にはあまり良好でなく、測定方法やデータ処理に問題があることが示唆された。

Research Products

• [Publications] 榎本美香, 伝康晴: "3人会話における参与役割の交替に関わる非言語行動の分析"人工知能学会研究会資料. SIG-SLUD-A301. 25-30 (2003)
• [Publications] 伝康晴: "動作の言語学"日本認知科学会「学習と対話」研究分科会. SIGLAL2003-2. 52-57 (2003)
• [Publications] 伝康晴: "会話の仕組みを知る"電子情報通信学会HCGシンポジウム「会話情報学:会話を中心とする新しいインタラクション・コンテンツ融合技術の展開」. (2004)