音声対話における引き込み現象の解明とそのヒューマン・インタフェースへの応用

1994 Fiscal Year Annual Research Report

• Project/Area Number: 05650253
• Research Institution: OKAYAMA PREFECTURAL UNIVERSITY
• Principal Investigator: 渡辺 富夫 岡山県立大学, 情報工学部, 教授 (30167150)
• Keywords: ヒューマン・インタフェース / 音声対話 / 引き込み現象 / 表情 / まばたき / 読唇 / コミュニケーション

Research Abstract

前年度に引き続き、音声対話時のまばたき反応を分析した結果、音声のON区間では抑制され、OFF区間に生起することが相対的に多いことが示され、音声時系列とまばたき反応とは有意な相関があること、またうなずいている時にはまばたきすることが多いことなど、音声とうなずき・表情反応との引き込み現象だけでなく、まばたき反応と引き込み現象の相互関連性が判明した。これらの分析結果を基に、従来の音声-うなずき反応モデルの階層モデルに指数分布モデルを組み込んだ音声-まばたき反応モデルを提案し、シミュレーション実験によりその有効性を示した。また拝聴する場合のように、意識的に話し手に同期させてうなずいた場合には、うなずき反応の個人差が小さく、聞き手が話の区切りを予測してうなずいていることが顕著なことが明らかになり、この予測反応の引き込みが円滑なコミュニケーションに重要な役割を果たすことが示唆された。現在、これら一連の分析をリアルタイムでマルチメディア情報処理するシステムを開発中である。
また母親と乳児との表情とくに唇の動きの引き込み現象への応用を目指して、人間の感覚に合致したHSV(色相、彩度、明度)方式による色彩情報に基づいて、顔画像の色彩色相と彩度の分布状態により定量化し、唇を高精度に抽出する手法を開発した。
本研究の成果の一部は、NHKスペシャル「お父さんへ 赤ちゃんからのメッセージ」で、父親の語りかけに対する新生児の腕部の動きの引き込み現象を例にコミュニケーションにおける引き込み現象の研究として紹介され、引き込み現象などの言葉によらないコミュニケーションのもつ重要性が示されている。放映後、多大の反響を呼び、NHKエデュケ-ショナルよりビデオ化されている。

Research Products

• [Publications] Tomio Watanabe: "Effects of Pitch Adaptation in Prosody on Human-Machine Verbal Communication" 6th International Conference on Human-Computer Interaction. (7月発表). 6ページ- (1995)
• [Publications] 渡辺富夫、黒田勉: "フラクタル性に基づくグラフイック・イメージの親しみ易さの評価" 第10回ヒューマン・インタフェース・シンポジウム論文集. 10. 301-304 (1994)
• [Publications] 黒田勉、渡辺富夫: "色彩データベースに基づく唇の形状抽出法" 第10回ヒューマン・インタフェース・シンポジウム論文集. 10. 349-354 (1994)
• [Publications] 渡辺富夫,B.M.Lester,C.F.Z.Boukydis: "乳児の泣き声に対する母親の知覚・感情と育児環境及び乳児発達との関係" 第33回日本ME学会大会. 235- (1994)
• [Publications] T.Watanabe,B.M.Lester and C.F.Z.Boukydis: "Mother's Perceptions and Feelings About Their Infant's Cry Relate to Home Environment and Developmental Outcome" 9th International Conference on Infant Studies. 193- (1994)
• [Publications] Tomio Watanabe et al.: "Early Differences in Maternal Perception of Infant Crying Predict Organization of the Home Enviroment and Development Outcome" 13th Biennial Meeting of ISSBD. 160- (1994)