感情意図ラベリングに基づく韻律に着目した音声言語獲得過程分析

2013 Fiscal Year Research-status Report

• Project/Area Number: 25330192
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Shizuoka University
• Principal Investigator: 桐山 伸也 静岡大学, 情報学研究科, 准教授 (20345804)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Keywords: 音声言語獲得 / 感情意図ラベリング / マルチモーダル / 行動コーパス / 韻律

Research Abstract

本研究では、最も根源的なコミュニケーション手段である音声言語能力の発達過程を観察し、人間の知能発達過程の根幹を記述する計算機モデルの構築を狙う。感情とは心の状態であり、思考方法を切り替えるスイッチであるというMinskyの理論に基づき、感情意図ラベルを手がかりとした発話分析をコアメソッドとして音声言語獲得過程のモデル化を目指す。この目的に対し今年度は、音声言語獲得過程分析のための感情意図ラベルを機軸とするマルチモーダル行動分析システムを開発し、実データへの感情意図ラベリングの実践を行った。
映像と音声による行動記録データに発話・ジェスチャ・感情意図ラベル等のマルチモーダルなラベルを観察者が自由に設計・付与できる機能と、それらのラベル情報に関するクエリにより特徴的な場面を柔軟に検索できる機能を備えた音声言語獲得分析支援システムを開発した。本システムを用いて、母親が子どもに絵本を読み聞かせる場面の母子インタラクションデータを対象に、発話者・発話内容・発話区間・ジェスチャ・視線・感情意図などのラベルを付与し、本研究の基盤データベースを構築した。
感情意図ラベル体系としては、初期検討としてポジティブ・ネガティブ・ニュートラルの3種類からなる簡便なものを用いた。Minskyの感情思考理論に基づき、感情意図ラベルが時間軸上で変化している場面に着目し、特徴を考察した。子どもの月齢が12ヶ月未満であり、子どもの発話が少ないデータであったが、絵本に興味を惹くための母親の語り掛けの工夫が多く観察され、音声インタラクションにより子どもと向き合うためのコミュニケーションスキルに関する知見獲得への有用性が示唆された。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初予定どおり、本研究の基盤となる感情意図ラベリング支援システムの構築と、ラベリングの実践を達成できたため。

Strategy for Future Research Activity

当初計画に則り、感情意図ラベルの時系列変化に着目したコミュニケーションスキルの発達分析を進める。母親の子どもへの関わり方にも注目し、母親のコミュニケーション技法の獲得についても考察を行う。