Analysis of prosody of Japanese Sign Language and Japanese speech as interactive natural language with different modalities
| Project/Area Number |
15K00223
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
Horiuchi Yasuo 千葉大学, 大学院工学研究院, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2017: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2016: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2015: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 対話型自然言語 / プロソディ / 韻律 / 日本語音声 / 日本手話 / 聴覚言語 / 視覚言語 / プロソディ（韻律） / 日本語音声（聴覚言語） / 日本手話（視覚言語） |
|---|
| Outline of Final Research Achievements |
Analysis of two interactive natural languages, Japanese speech (JS) and Japanese Sign Language (JSL) with different modalities showed that prosody plays a very important role in real-time understanding and communication. Although there are some differences between JS and JSL due to the difference between auditory and visual languages, it was suggested that adding prosody to linguistic information is essential in dialogue in both interactive natural languages.
|
| Academic Significance and Societal Importance of the Research Achievements |
音声や手話は実時間対話言語であり、プロソディ（韻律）と呼ばれる文字で表現できない情報（声の高さ、早さ、声色、頭や視線の動き、表情、ジェスチャー等）が言語理解やコミュニケーションにおいて重要な役割を担っているが、本研究ではそれらプロソディの機能を解明した。近年、人と会話する人工知能が登場してきているが、実際に人と会話しているような実感は得られない。自然な会話を実現するためにはプロソディなど、人間が会話で用いている情報を利用する必要があり、本研究は未来の人工知能のために必須となる技術である。
|
Report
(5 results)
Research Products
(20 results)
