|
音声など実時間で情報伝達・コミュニケーションを行う対話型自然言語では韻律と呼ばれる付加的な情報が同時に表出されることにより、言語理解やコミュニケーションの向上に貢献していると考えられている。また、対話型自然言語には音声だけでなく、ろう者（聴覚障害者）が用いる手話（視覚言語）など様々な言語が存在するが、そのすべてにおいて音声同様に韻律情報が存在している。本研究では異なるモダリティ（聴覚，視覚）による対話型自然言語において、それぞれどのような韻律情報が存在し、どのような機能を有しているかを横断的に詳細に分析することを目的とする。今年度はこれまでの本科研で得られた韻律に関する技術や知見について、その韻律を変化させた言語資料を合成し、主観評価実験等により、対話型自然言語における韻律情報の役割を明らかにした。(1) 主観評価実験等の音声を作成可能とするため、音声のF0表現モデル（藤崎モデル）のパラメータを推定する実用的な手法を開発した。(2)母語話者と非母語話者の音声による話者交替の比較実験の結果、円滑な話者交替を実現するためには、適切な韻律を付与する必要があることが明らかとなった。(3)3D手話アニメーションを用いて、手話の韻律の一つである首の動きを変化させた評価実験用の動画を作成し、ろう者による主観評価実験を行った。その結果、韻律は手話の理解において必須であることが明らかとなり、逆に不適切な韻律が付与された場合、理解の妨げとなった。これらの結果から、対話型自然言語である音声や手話では韻律情報が言語理解や円滑な会話コミュニケーションにおいて必須であり、将来の対話型自然言語処理では韻律も考慮した分析／合成が必要とされることが明らかとなった。また、音声と手話のように、聴覚と視覚のモダリティの違いにより、韻律の表現方法は異なるが、その基本的な機能は共通であることもわかった。
|
