漸次的な音声認識の解探索過程における韻律句境界情報の利用

2001 Fiscal Year Annual Research Report

• Project/Area Number: 12780270
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: 中井 満 北陸先端科学技術大学院大学, 情報科学研究科, 助手 (60283149)
• Keywords: 韻律 / アクセント句 / 相槌挿入度 / 漸次的音声認識 / 音声対話 / 隠れマルコフモデル / ニューラルネットワーク

Research Abstract

韻律パターンおよびアクセント句等の韻律情報を音響情報と併用し,漸次的な音声対話システムの探索途中における相槌応答についての検討を行なった.
1)漸次的な韻律処理部の構築
先行研究(信学論(A),VOl.J77-A, No.2, pp206-214, 1994年2月)のアクセント句境界検出器にHMM(Hidden Markov Model)を導入し,尤度最大基準によって句境界を検出するようにした.また,この検出器から得られる任意の時刻までの句境界仮説を用いて,その時刻における韻律信頼度(句境界らしさ)を定量化し,時間に同期して出力するように改良した.
2)漸次的な音声認識部の構築
任意の時刻における音声認識の探索解候補を漸次的にユーザにフィードバックするような音声認識部を整備した.音声認識エンジンとして,IPA(情報処理振興事業協会)の研究成果物"julius"を利用し、これを漸次的出力型に改良した.また,認識候補の尤度差を用いて,音響信頼度(認識の確からしさ)を定量化した.
3)音声認識部と韻律処理部の統合
韻律信頼度と音響信頼度の結合関数である総合信頼度を用いて,意味的にまとまりのある時刻(文節,韻律句などの発声直後)で,かつ認識候補が確からしい場合に相槌を打つシステムを構築した.この他に,各信頼度を入力特徴量として相槌挿入度を出力するニューラルネットワークを学習し,出力の大小に応じて相槌音声と合成顔画像の頷きの強弱を変化する擬人化対話エージェントを構築した.
4)音声資料の収集および評価
平成12年度は発声が明瞭な音声として,ATR日本語連続音声データベース・セットBを用いた評価を行なった.これに加えて,平成13年度は,新たに収集した対話型の音声について,5人の聴取者が相槌を挿入し,発声のある時刻における相槌の打ち易さの度合を示す相槌挿入度を付与し,評価に用いた.

Research Products

• [Publications] 山崎 義人, 中井 満, 下平 博, 嵯峨山 茂樹: "音声対話における音響・韻律信頼度を用いた応答タイミング制御の検討"日本音響学会2001年春季研究発表会講演論文集. 51-52 (2001)
• [Publications] 川本 真一, 山崎 義人, 高坂 大輔, 坂井 伸圭, 田村 紗雪, 松下 善則, 中井 満, 下平 博, 嵯峨山 茂樹: "声の好みによって確率的に振舞が変化する擬人化対話エージェント"Interaction 2001. 167-168 (2001)
• [Publications] 山崎 義人, 中井 満, 下平 博, 嵯峨山 茂樹: "韻律信頼度を用いた漸次的音声認識出力の検討"平成12年電気関係学会北陸支部大会講演論文集. 458 (2000)