2005 Fiscal Year Annual Research Report
日本語とフランス語における視聴覚韻律情報に関する神経機構
Project/Area Number |
05F05793
|
Research Institution | Advanced Telecommunications Research Institute International |
Principal Investigator |
HILL Harold 株式会社国際電気通信基礎技術研究所, 人間情報科学研究所, 主任研究員
|
Co-Investigator(Kenkyū-buntansha) |
DOHEN M S 株式会社国際電気通信基礎技術研究所, 人間情報科学研究所, 外国人特別研究員
|
Keywords | prosodic focus / multimodality / cross-linguistic analysis / facial motion / speech perception / speech production / visual prosody |
Research Abstract |
当初の目的である日本人話者の発話時の顔の変化がフランス人話者と差異があるのか、またその程度などを取得すべく、データを収集した。データの収集では、日本人話者の視覚情報による強調様式の検討とデータ収集を目的として、顔面内の各部位を位置センサーによる運動計測置(Optotrak)で測定し、発話内容の強調時の顔運動量を求めた。コーパスには、同一の発話形態、強調様式を主眼とし蓄積した。この手法を用い、五名の被験者のデータを記録した。また、そのために3Dモーションキャプチャーの保存のため機器を購入した。 すでに同じ手順でフランス人の顔運動データを取得していたため、今年度は日本人話者の顔運動データを取得し、音声データとの同期を図るための音声のデータラベリングを行い、発話内容の強調時、非強調時を区分した。コーパスの有効性を立証するため、略式の聴覚実験をおこなった。また、日本人話者の強調様式の強調・非強調時がただしく対応できているのか、分析をおこなった。この分析と今後の視覚実験のために機器を購入した。 日本人話者の顔データは、以前フランスでおこなった実験と比較して、分析中である。また、今後は、視聴覚韻律情報に基づく言語強調に関する神経機構について実験をおこなう。これによって、音声情報だけでなく視覚情報があることによる優位性について検証する。すでに、日本人話者の発話内容の聴覚のみの認知は、フランス人ほど顕著でないことがわかっている。これに視覚情報が加わり、視聴覚情報になったときに、視聴覚情報の優位性がみられると考えられる。
|