感情意図ラベリングに基づく韻律に着目した音声言語獲得過程分析

2014 Fiscal Year Research-status Report

• Project/Area Number: 25330192
• Research Institution: Shizuoka University
• Principal Investigator: 桐山 伸也 静岡大学, 情報学研究科, 准教授 (20345804)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Keywords: 音声言語獲得 / 感情意図ラベリング / マルチモーダル / 行動コーパス / 韻律

Outline of Annual Research Achievements

本研究では、最も根源的なコミュニケーション手段である音声言語能力の発達過程を観察し、人間の知能発達過程の根幹を記述する計算機モデルの構築を狙う。感情とは心の状態であり、思考方法を切り替えるスイッチであるというMinskyの理論に基づき、感情意図ラベルを手がかりとした発話分析をコアメソッドとして音声言語獲得過程のモデル化を目指す。この目的に対して今年度は、対人コミュニケーション場面の実データに対する感情意図ラベリングを実施し、複数の子どもの経年変化が分析可能なマルチモーダル発話行動ラベリングデータベースを構築した。

前年度までに構築したマルチモーダル行動分析システムを基盤として、母親が子どもに絵本を読み聞かせる場面の母子インタラクションデータを対象に、発話者・発話内容・発話区間・ジェスチャ・視線・感情意図などのマルチモーダルな観点でラベリングを実施し、20人の概ね月齢6ヶ月～18ヶ月に亘る9時間分のデータにラベルを付与した。

付与された感情意図ラベルを主要な手がかりとして、絵本読みに対する子どもの反応がよい場合とそうでない場合の比較分析を行ったところ、反応がよい子どもの母親は、発話の韻律のコントロールによって楽しさを演出するだけでなく、子どもの視線を巧みに捉え、指差しやスキンシップなども併用し、複数のモダリティを組み合わせて子どもの関心を惹きつける工夫が多く観察され、子どもの音声言語発達を促す母親のコミュニケーション技法に関する知見獲得への有用性が示唆された。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初予定どおり、対人コミュニケーション場面における感情意図ラベルを中心としたマルチモーダル発話行動ラベリングを実施し、コミュニケーション分析を進められたため。

Strategy for Future Research Activity

当初計画に則り、対人コミュニケーション場面における発達分析を進める。母親の子どもに対するコミュニケーション技法の獲得に関する考察も併せて行う。