2016 Fiscal Year Research-status Report
モダリティが異なる対話型自然言語としての手話と音声の韻律機能の解明
| Project/Area Number |
15K00223
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
堀内 靖雄 千葉大学, 大学院融合科学研究科, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 対話型自然言語 / プロソディ（韻律） / 日本語音声（聴覚言語） / 日本手話（視覚言語） |
|---|
| Outline of Annual Research Achievements |
音声（聴覚言語）や手話（聴覚障害者）などの対話型自然言語では韻律と呼ばれる付加的な情報が言語理解やコミュニケーションの向上に貢献していると考えられている。韻律には(1)実時間での言語理解を助ける（統語理解、意味理解、談話理解等）、(2)実時間コミュニケーションを制御する（話者交替等）などの機能が存在すると考えられる。昨年度の研究で収集された日本語音声と日本手話に関する対話データに対して得られた音声、手話それぞれの韻律情報を表現している物理的特徴量をもとに、各特徴量が有する韻律機能を明らかにするため、各特徴量とその機能の関係を分析した。音声の韻律機能については、声の高さ、話速、声色（スペクトル／音色）と感情表現の関係を聴取実験により分析し、各韻律特徴量の変化と表現される感情の種類と強度の関係を明らかにした。また、音声の声の高さに相当する基本周波数を効果的に表現可能な基本周波数パターン生成過程モデル（藤崎モデル）のパラメータ推定手法の検討も行った。さらに母語対話の話者交換の時間的なタイミングの分析を行い、韻律情報の有効性を明らかにした。手話の韻律機能としては、うなずきなどの頭部動作に関して、手話における文法的な機能を明らかにすることにより、言語的な機能とパラ言語的な機能の分析を行った。また、手話の韻律的特徴を得るための、Microsoft Kinect(R)距離カメラを用いたデータ収録と自動認識手法に関する検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね当初の計画通りに進展している。
|
| Strategy for Future Research Activity |
当初の計画に従い、音声と手話の韻律に関する比較分析、韻律の聴取／視聴実験を行っていく。
|
| Causes of Carryover |
手話の分析データを増やすため、手話のビデオデータの分析作業補助業務を謝金にて実施していたが、作業者の都合により、年度内の作業が計画していたよりも少なくなったため。
|
| Expenditure Plan for Carryover Budget |
前年度に実施できなかった業務内容について、次年度に作業を実施する予定である。
|
