モダリティが異なる対話型自然言語としての手話と音声の韻律機能の解明

2018 年度 研究成果報告書

• 研究課題/領域番号: 15K00223
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 知覚情報処理
• 研究機関: 千葉大学
• 研究代表者: 堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
• 研究期間 (年度): 2015-04-01 – 2019-03-31
• キーワード: 対話型自然言語 / プロソディ / 韻律 / 日本語音声 / 日本手話 / 聴覚言語 / 視覚言語

研究成果の概要

モダリティの異なる二つの対話型自然言語である日本語音声と日本手話を横断的に分析した結果、どちらもプロソディが非常に重要な役割を担っており、実時間での言語理解や円滑な実時間コミュニケーションに有効に利用されていることが明らかとなった。また、両者には聴覚言語と視覚言語というモダリティの違いがあるため、その特徴にはいくつかの違いが見られたが、言語情報に付加されたプロソディの存在が対話型自然言語での会話において必須であることがわかった。

自由記述の分野

ヒューマンマシンインタラクション

研究成果の学術的意義や社会的意義

音声や手話は実時間対話言語であり、プロソディ（韻律）と呼ばれる文字で表現できない情報（声の高さ、早さ、声色、頭や視線の動き、表情、ジェスチャー等）が言語理解やコミュニケーションにおいて重要な役割を担っているが、本研究ではそれらプロソディの機能を解明した。近年、人と会話する人工知能が登場してきているが、実際に人と会話しているような実感は得られない。自然な会話を実現するためにはプロソディなど、人間が会話で用いている情報を利用する必要があり、本研究は未来の人工知能のために必須となる技術である。