• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

平均声モーフィングを利用した日本語発音学習システムの研究開発

研究課題

研究課題/領域番号 16K13253
研究種目

挑戦的萌芽研究

配分区分基金
研究分野 外国語教育
研究機関東北大学

研究代表者

能勢 隆  東北大学, 工学研究科, 准教授 (90550591)

研究分担者 千葉 祐弥  東北大学, 工学研究科, 助教 (30780936)
研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2018年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2017年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2016年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワードe-ラーニング / コンピュータ学習支援(CALL) / 発音学習 / 統計的パラメトリック音声合成 / 深層学習 / 韻律置換 / 語学学習支援システム(CALL) / 語学学習支援システム(CALL) / コンピュータ支援学習(CALL) / 音声合成 / 平均声 / モーフィング / CALLシステム
研究成果の概要

本課題では、日本において非母語話者が日本語の発音学習を「低コストで」「手軽に」「確実に」行えるような新たな枠組の実現を目指した。具体的には複数の教師話者の音声により学習した平均教師声モデルによる統計的パラメトリック音声合成を利用し、音声の音韻や韻律(ピッチ・リズム)を特徴量毎に置換することで、従来よりも詳細で高精度な発音スコアのラベル付けを可能とした。この手法を用いて音韻、アクセント、リズムについて個別に発音スコアの予測モデルを学習し、非母語話者の発音スコアを予測することで、発音学習を効率的に行うことを実現した。

研究成果の学術的意義や社会的意義

法務省により公開されている在留外国人統計表によれば、日本における外国人の数は年々増加している。その一方で、英会話などに比べると発音の学習を提供するサービス、ソフトウェアは遥かに少ない。本課題で目指すシステムにより(1)非母語話者が発音の違いにより受ける社会的不利益やコミュニケーション力の低下などの問題が大幅に低減される。(2)構築した音韻・韻律別発音評定データベースを公開することで、多くの研究者に対してもより詳細な発音学習研究や応用が可能となる。などの社会的・学術的な波及効果が期待できる。

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (15件)

すべて 2018 2017 2016

すべて 雑誌論文 (8件) (うち国際共著 3件、 査読あり 6件、 オープンアクセス 3件、 謝辞記載あり 2件) 学会発表 (7件) (うち国際学会 5件)

  • [雑誌論文] Analysis of preferred speaking rate and pause in spoken easy Japanese for non-native listeners2018

    • 著者名/発表者名
      Hafiyan Prafianto, Takashi Nose, Yuya Chiba, Akinori Ito
    • 雑誌名

      Acoustical Science and Technology

      巻: 39 号: 2 ページ: 92-100

    • DOI

      10.1250/ast.39.92

    • NAID

      130006407737

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Segmental Pitch Control Using Speech Input Based on Differential Contexts and Features for Customizable Neural Speech Synthesis2018

    • 著者名/発表者名
      Shinya Hanabusa, Takashi Nose, Akinori Ito
    • 雑誌名

      Recent Advances in Intelligent Information Hiding and Multimedia Signal Processing, IH-MSP 2018. Smart Innovation, Systems and Technologies

      巻: 110 ページ: 124-131

    • DOI

      10.1007/978-3-030-03748-2_15

    • ISBN
      9783030037475, 9783030037482
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Improvement of Accent Sandhi Rules Based on Japanese Accent Dictionaries2018

    • 著者名/発表者名
      Hiroto Aoyama, Takashi Nose, Yuya Chiba, Akinori Ito
    • 雑誌名

      Proceeding of the Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing

      巻: - ページ: 140-148

    • DOI

      10.1007/978-3-030-03748-2_17

    • ISBN
      9783030037475, 9783030037482
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Voice Conversion from Arbitrary Speakers Based on Deep Neural Networks with Adversarial Learning2017

    • 著者名/発表者名
      Sou Miyamoto, Takashi Nose, Suzunosuke Ito, Harunori Koike, Yuya Chiba, Akinori Ito, Takahiro Shinozaki
    • 雑誌名

      Proceeding of the Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing

      巻: 2 ページ: 97-103

    • DOI

      10.1007/978-3-319-63859-1_13

    • ISBN
      9783319638584, 9783319638591
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Development and Evaluation of Julius-Compatible Interface for Kaldi ASR2017

    • 著者名/発表者名
      Yusuke Yamada, Takashi Nose, Yuya Chiba, Akinori Ito and Takahiro Shinozaki
    • 雑誌名

      Proceeding of the Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing

      巻: 2 ページ: 91-96

    • DOI

      10.1007/978-3-319-63859-1_12

    • ISBN
      9783319638584, 9783319638591
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] 韻律置換に基づく主観スコアを用いたアクセント自動評価の精度向上の検討2017

    • 著者名/発表者名
      ハフィヤン・プラフィアント,能勢 隆,千葉祐弥,伊藤彰則
    • 雑誌名

      日本音響学会2017年春季研究発表会講演論文集

      巻: - ページ: 251-252

    • 関連する報告書
      2016 実施状況報告書
    • 謝辞記載あり
  • [雑誌論文] A Precise Evaluation Method of Prosodic Quality of Non-Native Speakers Using Average Voice and Prosody Substitution2016

    • 著者名/発表者名
      Hafiyan Prafianto, Takashi Nose, Akinori Ito
    • 雑誌名

      Proceedings of the International Conference on Audio, Language and Image Processing

      巻: - ページ: 208-212

    • DOI

      10.1109/icalip.2016.7846620

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] 特徴量置換を用いた非日本語母語話者単語音声の主観評価2016

    • 著者名/発表者名
      ハフィヤン・プラフィアント, 能勢隆, 千葉祐弥, 伊藤彰則
    • 雑誌名

      日本音響学会2016年秋季研究発表会講演論文集

      巻: - ページ: 249-250

    • 関連する報告書
      2016 実施状況報告書
    • 謝辞記載あり
  • [学会発表] Segmental Pitch Control Using Speech Input Based on Differential Contexts and Features for Customizable Neural Speech Synthesis2018

    • 著者名/発表者名
      Shinya Hanabusa, Takashi Nose, Akinori Ito
    • 学会等名
      International Conference on Intelligent Information Hiding and Multimedia Signal Processing
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Improvement of Accent Sandhi Rules Based on Japanese Accent Dictionaries2018

    • 著者名/発表者名
      Hiroto Aoyama, Takashi Nose, Yuya Chiba, Akinori Ito
    • 学会等名
      International Conference on Intelligent Information Hiding and Multimedia Signal Processing
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Voice Conversion from Arbitrary Speakers Based on Deep Neural Networks with Adversarial Learning2017

    • 著者名/発表者名
      Sou Miyamoto
    • 学会等名
      The Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Development and Evaluation of Julius-Compatible Interface for Kaldi ASR2017

    • 著者名/発表者名
      Yusuke Yamada
    • 学会等名
      The Thirteenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 韻律置換に基づく主観スコアを用いたアクセント自動評価の精度向上の検討2017

    • 著者名/発表者名
      ハフィヤン・プラフィアント
    • 学会等名
      日本音響学会2017年春季研究発表会
    • 発表場所
      明治大学生田キャンパス (川崎市)
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] A Precise Evaluation Method of Prosodic Quality of Non-Native Speakers Using Average Voice and Prosody Substitution2016

    • 著者名/発表者名
      Hafiyan Prafianto
    • 学会等名
      The International Conference on Audio, Language and Image Processing
    • 発表場所
      Shanghai (China)
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 特徴量置換を用いた非日本語母語話者単語音声の主観評価2016

    • 著者名/発表者名
      ハフィヤン・プラフィアント
    • 学会等名
      日本音響学会2016年秋季研究発表会
    • 発表場所
      富山大学五福キャンパス (富山市)
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi