2010 Fiscal Year Annual Research Report
発話音声に伴う頭部動作および表情と言語・パラ言語情報との関連構造の構築
| Project/Area Number |
20680011
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
石井 カルロス寿憲 株式会社国際電気通信基礎技術研究所, 知能ロボティクス研究所, 研究員 (30418529)
|
|---|
| Keywords | 発話意図 / 頭部動作 / パラ言語情報 / 韻律 / 声質 / 表情 / 感情 |
|---|
| Research Abstract |
人が音声対話を介してコミュニケーションを行う際,発話音声に伴う頭部動作や表情などの視覚的情報も話者の意図や感情などを伝達することが多く,対話の相互理解やインタラクションの自然さ,円滑さに影響する.本提案では,対話コミュニケーションにおいて,発話音声とそれに伴う頭部動作や表情の視覚的情報との関連構造を提案し,言語情報と韻律・声質特徴からなる発話スタイルの組み合わせにより,談話機能や発話意図などを介して頭部動作や表情の視覚的情報と関連付ける構造の構築を目的としている.
昨年度は,マルチモーダルデータベースを用いて,さまざまな音響分析,発話に含まれる言語情報と発話スタイルによって伝達される意図や態度や感情などのパラ言語情報と,視覚的情報の頭部動作や表情との関連を調べた.また,分析結果を基に,談話機能のラベルを用いて発話に伴う頷き動作を生成するシステムを構築した.
本年度は,発話スタイルにおいて,主に「りきみ発声」と気息音発声の音響分析およびこれらがもたらすパラ言語情報の分析を行った.また,頭部動作生成において,昨年度の頷き生成に加え,首傾げの生成モデルも提案し,ロボットに応用して評価実験を行い,提案モデルの有効性を示した.また,モデル構築には至らなかったが,「りきみ発声」と眉毛をひそめる表情との関連を見出した.
|
