2017 Fiscal Year Research-status Report
モダリティが異なる対話型自然言語としての手話と音声の韻律機能の解明
| Project/Area Number |
15K00223
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 対話型自然言語 / プロソディ（韻律） / 日本語音声（聴覚言語） / 日本手話（視覚言語） |
|---|
| Outline of Annual Research Achievements |
音声（聴覚言語）や手話（視覚言語）などの対話型自然言語では韻律と呼ばれる付加的な情報が言語理解やコミュニケーションの向上に貢献していると考えられている。韻律には(1)実時間での言語理解を助ける（統語理解、意味理解、談話理解等）、(2)実時間コミュニケーションを制御する（話者交替等）などの機能が存在すると考えられる。今年度は日本語音声と日本手話の対話データ等の言語資料を分析し、各種韻律特徴が言語理解や実時間コミュニケーションの制御において、どのような機能を有するのかについて、分析を行った。音声の韻律機能については、感情音声における声の高さ、話速、声色（スペクトルまたは音色）と感情表現の関係について、韻律の種類や強度と感情表現に与える影響の分析を行った。また、音声の声の高さに相当する基本周波数を効果的に表現可能な基本周波数パターン生成過程モデル（藤崎モデル）のパラメータ推定において、マイクロプロソディ（微細変動）の除去手法に関する検討を行い、パラメータ推定精度の向上を達成した。手話の韻律機能として、うなずき等の頭部動作について、日本手話言語の文法的な機能とそれ以外の機能に分類し、言語的なうなずきとパラ言語的なうなずきについて、それらの機能を分類するのに加え、うなずきと話者交替／話者継続の関係を明らかにした。また、手の動きが停止する状態も韻律の機能であると考え、その出現した文脈や停止している手の位置や時間長等に関して、言語理解や実時間コミュニケーションの対話制御との関係を示した。さらに、手話の韻律的特徴を自動抽出するため、Microsoft Kinect(R)距離カメラを用いた手話認識手法に関する検討を行い、認識性能の向上を達成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね当初の計画通りに進展している。
|
| Strategy for Future Research Activity |
当初の計画に従い、音声と手話の韻律に関する比較分析、評価実験などを行う予定である。
|
| Causes of Carryover |
当該年度に実施予定であった、音声と手話の定量的な比較分析を行うにあたり、データ処理を謝金業務で実施予定であったが、定性的な分析の結果、更なる調査が必要となったため、次年度に繰り越して作業を行うこととした。
|
