2022 Fiscal Year Research-status Report
対話型自然言語の韻律に関する音声と手話の横断的分析
| Project/Area Number |
20K11861
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 対話型自然言語 / 韻律（プロソディ） / 日本語音声（聴覚言語） / 日本手話（視覚言語） / 藤崎モデル |
|---|
| Outline of Annual Research Achievements |
我々が日常用いている音声（聴覚言語）やろう者（聴覚障害者）が用いる手話（視覚言語）は実時間で情報伝達・コミュニケーションを行う対話型自然言語である。これら対話型自然言語における韻律（プロソディ）は実時間での言語理解を助けたり、実時間コミュニケーションを制御するのに用いられると考えらえれる。そこで、これら対話型自然言語における韻律の機能を解明するため、日本語音声と日本手話のそれぞれについて分析を行った。日本語音声については、感情音声データベース(OGVC)の演技音声を平静音声と比較することにより、声の高さ、速さ、音色（スペクトル）の韻律強度を時系列で表現する特徴量を新たに提案し、聴取者の印象評定結果から、その妥当性を示した。また、声の高さに関しては藤崎モデルパラメータを付与するため、基底周波数の自動推定手法の検討を行った。日本手話に関しては、基盤研究(S)「多用途型日本手話言語データベース構築に関する研究」（分担：堀内靖雄，2017-2021）で収録されたデータについて、手の動きの音素に関する解析を行った。直線運動の単語について、手の動きのモーションキャプチャデータの解析を行い、直線運動の手の動きは基本的には上下左右前後の６方向の音素が存在し、それらが概ね離散的に分離できることが明らかとなり、これらの手の動きの変動を韻律の物理的特徴量として利用可能であることが明らかになった。また、日本手話の会話データを分析した結果、手の動きを保持する動作は、手話空間に手形を留め置くという韻律上の表現によって、相互行為上の問題の解決に適切に利用されていることが明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね当初の計画に従って、順調に進んでいると考えられる。
|
| Strategy for Future Research Activity |
当初の計画に従い、これまでに得られた知見を統合し、音声と手話の韻律機能に関して、横断的な比較分析を行い、類似の特徴量は類似の機能を有するかどうか、また、異なる特徴量で類似の機能を有する韻律が存在するかどうか、などを分析し、それらについて、モダリティの違いや言語体系の違いからの考察を試みる。とくに話者交替については、すでにいくつかの相違点や類似点が明らかとなっているため、このようなコミュニケーションを円滑に行う機能の観点から、音声と手話の韻律の比較分析を行う予定である。
|
