• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Analysis of prosody of Japanese Sign Language and Japanese speech as interactive natural language with different modalities

Research Project

Project/Area Number 15K00223
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Perceptual information processing
Research InstitutionChiba University

Principal Investigator

Horiuchi Yasuo  千葉大学, 大学院工学研究院, 准教授 (30272347)

Project Period (FY) 2015-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2017: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2016: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2015: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords対話型自然言語 / プロソディ / 韻律 / 日本語音声 / 日本手話 / 聴覚言語 / 視覚言語 / プロソディ(韻律) / 日本語音声(聴覚言語) / 日本手話(視覚言語)
Outline of Final Research Achievements

Analysis of two interactive natural languages, Japanese speech (JS) and Japanese Sign Language (JSL) with different modalities showed that prosody plays a very important role in real-time understanding and communication. Although there are some differences between JS and JSL due to the difference between auditory and visual languages, it was suggested that adding prosody to linguistic information is essential in dialogue in both interactive natural languages.

Academic Significance and Societal Importance of the Research Achievements

音声や手話は実時間対話言語であり、プロソディ(韻律)と呼ばれる文字で表現できない情報(声の高さ、早さ、声色、頭や視線の動き、表情、ジェスチャー等)が言語理解やコミュニケーションにおいて重要な役割を担っているが、本研究ではそれらプロソディの機能を解明した。近年、人と会話する人工知能が登場してきているが、実際に人と会話しているような実感は得られない。自然な会話を実現するためにはプロソディなど、人間が会話で用いている情報を利用する必要があり、本研究は未来の人工知能のために必須となる技術である。

Report

(5 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • 2015 Research-status Report
  • Research Products

    (20 results)

All 2019 2018 2017 2016 2015

All Journal Article (13 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results,  Acknowledgement Compliant: 5 results) Presentation (7 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] 日本手話対話におけるポーズと話者交替に関する分析2019

    • Author(s)
      長谷川愛,堀内靖雄,黒岩眞吾
    • Journal Title

      人工知能学会研究会資料

      Volume: SIG-SLUD-B803 Pages: 13-18

    • NAID

      130008057897

    • Related Report
      2018 Annual Research Report
  • [Journal Article] Consistency of base frequency labelling for the F0 contour generation model using expressive emotional speech corpora2018

    • Author(s)
      Arimoto Yoshiko, Horiuchi Yasuo, Ohno Sumio
    • Journal Title

      Proc. 9th International Conference on Speech Prosody 2018

      Volume: 1 Pages: 398-402

    • DOI

      10.21437/speechprosody.2018-81

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 言語情報を用いたKinectによる連続指文字認識手法の検討2018

    • Author(s)
      風間康介, 堀内靖雄, 下元正義, 黒岩眞吾
    • Journal Title

      信学技報

      Volume: 117(502) Pages: 83-88

    • Related Report
      2017 Research-status Report
  • [Journal Article] 日本手話の呈示速度変化における腕動作変化の分析2018

    • Author(s)
      工藤正景, 堀内靖雄, 黒岩眞吾
    • Journal Title

      信学技報

      Volume: 117(502) Pages: 89-94

    • Related Report
      2017 Research-status Report
  • [Journal Article] Kinectを用いたHMM-SVMでの連続指文字認識2017

    • Author(s)
      高橋遼平,堀内靖雄,川本一彦,下元正義,眞崎浩一,黒岩眞吾,鈴木広一
    • Journal Title

      ヒューマンインタフェース学会研究報告集

      Volume: 19 Pages: 23-28

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] Kinectを用いた手話の数字認識手法の検討2017

    • Author(s)
      佐藤貴弘,堀内靖雄,川本一彦,下元正義,眞崎浩一,黒岩眞吾,鈴木広一
    • Journal Title

      ヒューマンインタフェース学会研究報告集

      Volume: 19 Pages: 17-22

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] 母音対話の話者交換タイミング2016

    • Author(s)
      市川熹,大橋浩輝,仲真紀子,菊池英明,堀内靖雄,黒岩眞吾
    • Journal Title

      科学・技術研究

      Volume: 5 Pages: 113-122

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Kinectを用いたHMMによる連続指文字認識の検討2016

    • Author(s)
      高橋遼平,堀内靖雄,川本一彦,下元正義,眞崎浩一,黒岩眞吾,鈴木広一
    • Journal Title

      情報処理学会研究報告

      Volume: 2016-AAC-1 Pages: 1-6

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] Kinectを用いた手話の数字認識における識別手法の検討2016

    • Author(s)
      佐藤貴弘,堀内靖雄,川本一彦,下元正義,眞崎浩一,黒岩眞吾,鈴木広一
    • Journal Title

      情報処理学会研究報告

      Volume: 2016-AAC-1 Pages: 1-6

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] 手話認識における位置・動き特徴量の検討2016

    • Author(s)
      古谷佳大, 堀内靖雄, 川本一彦, 下元正義, 眞崎浩一, 黒岩眞吾, 鈴木広一
    • Journal Title

      電子情報通信学会論文誌

      Volume: J99-D Pages: 90-92

    • Related Report
      2015 Research-status Report
    • Peer Reviewed
  • [Journal Article] 日本手話における手指動作とうなずきのタイミングの分析2016

    • Author(s)
      金子紗弓,堀内靖雄,黒岩眞悟
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 115 Pages: 7-12

    • Related Report
      2015 Research-status Report
  • [Journal Article] 音韻情報を考慮した話速変換による早口合成音声の明瞭度改善2016

    • Author(s)
      佐賀俊介,堀内靖雄,黒岩眞悟
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 115 Pages: 31-36

    • Related Report
      2015 Research-status Report
  • [Journal Article] 母語話者の交替タイミング機能獲得時期の検討2015

    • Author(s)
      市川 熹,川端 良子,大橋 浩輝,仲 真紀子,菊池 英明,堀内 靖雄,黒岩 眞吾
    • Journal Title

      情報処理学会研究報告

      Volume: 2015-MUS-107 Pages: 1-6

    • Related Report
      2015 Research-status Report
  • [Presentation] 日本手話対話におけるポーズと話者交替に関する分析2019

    • Author(s)
      長谷川愛,堀内靖雄,黒岩眞吾
    • Organizer
      人工知能学会第85回言語・音声理解と対話処理研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Consistency of base frequency labelling for the F0 contour generation model using expressive emotional speech corpora2018

    • Author(s)
      Arimoto Yoshiko、Horiuchi Yasuo、Ohno Sumio
    • Organizer
      International Conference on Speech Prosody 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 言語情報を用いたKinectによる連続指文字認識手法の検討2018

    • Author(s)
      風間康介, 堀内靖雄, 下元正義, 黒岩眞吾
    • Organizer
      情報処理学会第6回アクセシビリティ研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] 日本手話の呈示速度変化における腕動作変化の分析2018

    • Author(s)
      工藤正景, 堀内靖雄, 黒岩眞吾
    • Organizer
      情報処理学会第6回アクセシビリティ研究会
    • Related Report
      2017 Research-status Report
  • [Presentation] STRAIGHTによるモーフィングを用いた演技音声の感情表現と韻律特徴の分析2017

    • Author(s)
      天野翔太,堀内靖雄,黒岩眞吾
    • Organizer
      日本音響学会2017年春季研究発表会
    • Place of Presentation
      明治大学生田キャンパス
    • Year and Date
      2017-03-16
    • Related Report
      2016 Research-status Report
  • [Presentation] 藤崎モデルのパラメータ推定におけるマイクロプロソディ除去による効果の検討2017

    • Author(s)
      佐久間結, 堀内靖雄, 有本泰子, 大野澄雄, 黒岩眞吾
    • Organizer
      日本音響学会2017年秋季研究発表会
    • Related Report
      2017 Research-status Report
  • [Presentation] 発話の基本周波数分布にもとづく藤崎モデル基底周波数の決定手法2015

    • Author(s)
      有本泰子, 堀内靖雄, 大野澄雄
    • Organizer
      日本音響学会2015年秋季研究発表会
    • Place of Presentation
      会津大学
    • Year and Date
      2015-09-16
    • Related Report
      2015 Research-status Report

URL: 

Published: 2015-04-16   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi