Analysis of Prosody of Speech and Sign Language as Dialogue Language

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K11861
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Chiba University
• Principal Investigator: Horiuchi Yasuo 千葉大学, 大学院情報学研究院, 准教授 (30272347)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 対話型自然言語 / 韻律（プロソディ） / 日本語音声（聴覚言語） / 日本手話（視覚言語） / 藤崎モデル

Outline of Final Research Achievements

We analyzed the prosody of Japanese speech and Japanese Sign Language as a real-time interactive natural language. For Japanese speech, we clarified the relationship between the strength of emotion and the acoustic features of F0, speech rate, and spectrum of emotional speech, and proposed and evaluated a method to automatically estimate the base frequency of Fujisaki model parameters. For Japanese Sign Language, in order to separate linguistic and prosodic information, the phonemes of hand position and movement (linear motion) were clarified as linguistic information. By analyzing the dialogue data of Japanese Sign Language, the dialogue function of the hand holding was clarified.

Free Research Field

人間情報学

Academic Significance and Societal Importance of the Research Achievements

音声や手話は実時間対話型自然言語であり、韻律（プロソディ）と呼ばれる文字で表現できない情報（声の高さ、速さ、声色、手の位置、運動の軌跡や速さ、頭や視線の動き等）が実時間での言語理解を助けたり、実時間コミュニケーションを制御したりするために用いられる。本研究では日本語音声と日本手話を対象に韻律の機能の解明を試みた。近年、言語情報（記号情報）については深層学習技術の発展により急速に進展しているが、アナログ情報である韻律情報に関しては未解明な現象が多く、本研究の知見は将来の人工知能研究の基礎となる。