| Project/Area Number |
20K11861
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
Horiuchi Yasuo 千葉大学, 大学院情報学研究院, 准教授 (30272347)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 対話型自然言語 / 韻律（プロソディ） / 日本語音声（聴覚言語） / 日本手話（視覚言語） / 藤崎モデル / モーションキャプチャー / プロソディ（韻律） |
|---|
| Outline of Research at the Start |
我々は日常生活において、対話型自然言語（音声や手話）を用いて実時間での情報伝達やコミュニケーションを行っている。これら対話型自然言語においては韻律と呼ばれる付加的な情報が音声や手指の動きと同時に表出されることにより、言語理解やコミュニケーションの向上に貢献している。本研究では音声と手話という異なるモダリティ（聴覚・視覚などのコミュニケーションモード）による対話型自然言語において、それぞれの韻律情報がどのように言語理解やコミュニケーションに活用されているのかをモダリティの違いを考慮しながら、横断的に分析し、両言語の韻律の特徴や機能に関して、両言語間で共通な特性と各言語固有の特性を明らかにする。
|
| Outline of Final Research Achievements |
We analyzed the prosody of Japanese speech and Japanese Sign Language as a real-time interactive natural language. For Japanese speech, we clarified the relationship between the strength of emotion and the acoustic features of F0, speech rate, and spectrum of emotional speech, and proposed and evaluated a method to automatically estimate the base frequency of Fujisaki model parameters. For Japanese Sign Language, in order to separate linguistic and prosodic information, the phonemes of hand position and movement (linear motion) were clarified as linguistic information. By analyzing the dialogue data of Japanese Sign Language, the dialogue function of the hand holding was clarified.
|
| Academic Significance and Societal Importance of the Research Achievements |
音声や手話は実時間対話型自然言語であり、韻律（プロソディ）と呼ばれる文字で表現できない情報（声の高さ、速さ、声色、手の位置、運動の軌跡や速さ、頭や視線の動き等）が実時間での言語理解を助けたり、実時間コミュニケーションを制御したりするために用いられる。本研究では日本語音声と日本手話を対象に韻律の機能の解明を試みた。近年、言語情報（記号情報）については深層学習技術の発展により急速に進展しているが、アナログ情報である韻律情報に関しては未解明な現象が多く、本研究の知見は将来の人工知能研究の基礎となる。
|
