2020 Fiscal Year Research-status Report
対話型自然言語の韻律に関する音声と手話の横断的分析
| Project/Area Number |
20K11861
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 対話型自然言語 / 韻律（プロソディ） / 日本語音声（聴覚言語） / 日本手話（視覚言語） / モーションキャプチャー |
|---|
| Outline of Annual Research Achievements |
我々が日常用いている音声（聴覚言語）やろう者（聴覚障害者）が用いる手話（視覚言語）は実時間で情報伝達・コミュニケーションを行う対話型自然言語である。これら対話型自然言語における韻律（プロソディ）の機能を解明するため、言語データの収集・書き起こし・タグ付けを行った。日本手話に関しては、基盤研究(S)「多用途型日本手話言語データベース構築に関する研究」（代表：長嶋祐二，分担：堀内靖雄，2017-2021）で収録されたデータについて、モーションキャプチャデータを用いた解析が行えるよう環境整備を行った。その後、音声と手話における韻律の物理的特徴量を明らかにするため、日本語音声に関しては、時間的特徴量として、声の高さ、大きさ、話速を抽出し、それらと感情表現の強弱に関する予備的分析を行った。とくに、声の高さに関しては、妥当な藤崎モデルパラメータを付与するための検討を行った。一方、手話に関しては、手の位置や身体の詳細なモーションキャプチャデータの解析を行い、手の移動軌跡、移動速度などの物理的特徴量を抽出する手法を検討した。とくに手話の位置の音素について、手の物理的座標と言語学的な分類との関係を分析し、手の中心座標ではなく、手の特定の部位（単語ごとに異なる）の位置座標が言語学的な位置を表現していることを明らかにした。また、手話対話のモーションキャプチャデータについても、会話の単語の書き起こしや各種言語タグを付与する作業を開始した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね当初の計画通り、順調に進んでいる。
|
| Strategy for Future Research Activity |
当初の計画に従い、今回、得られた韻律の特徴量を分析し、手話の韻律機能の解明、音声の韻律機能の解明を行い、最終的には視覚言語と聴覚言語におけるモダリティの違いと韻律機能の類似性／相違性を明らかにする。
|
