2015 Fiscal Year Research-status Report
モダリティが異なる対話型自然言語としての手話と音声の韻律機能の解明
| Project/Area Number |
15K00223
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
堀内 靖雄 千葉大学, 融合科学研究科(研究院), 准教授 (30272347)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 対話型自然言語 / プロソディ（韻律） / 日本語音声（聴覚言語） / 日本手話（視覚言語） |
|---|
| Outline of Annual Research Achievements |
音声（聴覚言語）や手話（聴覚障害者）などの対話型自然言語では韻律と呼ばれる付加的な情報が言語理解やコミュニケーションの向上に貢献していると考えられている。本研究ではまず始めに、音声、手話それぞれの韻律情報を表現している物理的特徴量の解明を行うため、日本語音声と日本手話に関する対話データの収集を行い、単語の書き起こしや各種言語タグ（韻律に関する情報）を付与する作業を実施した。その後、日本語音声については、時間的な特徴量として、単語時間長、話速、無音区間時間長などを求め、言語情報に重畳される特徴量として、声の高さをF0モデル（藤崎モデル）で記述する方法について検討し、また、声のパワー（音量）、スペクトル（声色）について、物理的特徴量の検討を行った。日本手話については、時間的な特徴量として、単語時間長、わたり（単語間の遷移動作）時間長、手の動きが静止している区間の時間長などを求め、言語情報に重畳される特徴量として、手話単語を表現する手の空間的な大きさ、手の移動速度変化、手の移動軌跡等を分析した。また、日本手話では、マルチモーダルな特徴量のうち、頭の動きが非常に重要であるため、頭部動作と手話の言語的機能ならびに頭部動作と手動作の時間的な関係について分析を行った。手話の手の動きや頭の動きについては、Microsoft Kinect(R)距離カメラを利用して、特徴量を抽出する手法について検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね当初の計画通りに進展している。
|
| Strategy for Future Research Activity |
当初の計画に従い、韻律の機能の解明、音声と手話の韻律に関する比較分析、韻律の聴取／視聴実験を行っていく。
|
| Causes of Carryover |
当初の計画では新たにデータ収録を行う予定であったが、今年度は既存のデータを用いた分析・検討を行い、今後、研究の進展に合わせ、それに適したデータ収録を行うこととしたため。
|
| Expenditure Plan for Carryover Budget |
分析を進めていく過程で、必要となるデータ収録を行う計画を検討している。
|
