• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

深層学習に基づくマルチモーダル対話型英会話学習システムの研究開発

研究課題

研究課題/領域番号 17H00823
研究機関東北大学

研究代表者

伊藤 彰則  東北大学, 工学研究科, 教授 (70232428)

研究分担者 能勢 隆  東北大学, 工学研究科, 准教授 (90550591)
研究期間 (年度) 2017-04-01 – 2021-03-31
キーワードCALLシステム / 英会話練習システム / 英語発音の自動評価 / 英文の発音難易度評価
研究実績の概要

本年度は、昨年度の成果を受けて、次の2つの研究を行った。①任意の音声の発音評価ができるシステムを利用し、音声対話型CALLシステムを開発した。②発音評価値を「話者の能力」と「文の発音難易度」に分けて評価する方法を開発した。
これらのうち①については、プラットフォームとしてPythonベースのFlaskを利用し、利用者の音声入力をもとに、シナリオベースの英会話を行うシステムを開発した。学習者の発話に応じてシナリオに合った返事をするほか、昨年度開発した発音評価システムを利用して、発音の良さをフィードバックする機能を持っている。
また、②では、英語の文が与えられたとき、その文の発音しやすさを推定する手法を開発した。これには2つの意義がある。1つ目の意義は、機械による発音評価をさらに高精度化することが可能になることである。ネイティブ話者が学習者の発音の評価を行う際には、単純に発音だけをもとに判断しているのではなく、どういう文を発話しているかも考慮して評価をしていることが明らかとなっている。すなわち、もともと発音が難しい文であれば、ある学習者の発音があまり良くなかったとしても、発音の難しさを割り引いて評価する傾向があるのである。しかし、これは従来の発音評価の枠組みでは考慮されない。2つ目の意義は、学習者の「ある文の発音の良さ」ではなく、その学習者の発音能力を測ることができることである。ある学習者がある文を発話したとき、その文の発音の上手さには学習者の発音能力と文の発音難易度の2つの要因が関係する。しかし従来はこの2つの要因を分離して評価できていなかった。本研究では、まずネイティブ話者による文の発音評価スコアを、文の発音難易度と学習者の発音能力に分離する手法を開発した。さらに、英文の特徴量から文の発音難易度を推定する手法を開発した。

現在までの達成度 (段落)

令和2年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和2年度が最終年度であるため、記入しない。

  • 研究成果

    (22件)

すべて 2021 2020

すべて 雑誌論文 (11件) (うち査読あり 11件、 オープンアクセス 2件) 学会発表 (11件) (うち国際学会 1件)

  • [雑誌論文] Effect of Training Data Selection for Speech Recognition of Emotional Speech2021

    • 著者名/発表者名
      Yusuke Yamada, Yuya Chiba, Takashi Nose, Akinori Ito
    • 雑誌名

      International Journal of Machine Learning and Computing

      巻: 11 ページ: 362~366

    • DOI

      10.18178/ijmlc.2021.11.5.1062

    • 査読あり / オープンアクセス
  • [雑誌論文] Language modeling in speech recognition for grammatical error detection based on neural machine translation2020

    • 著者名/発表者名
      Fu Jiang、Chiba Yuya、Nose Takashi、Ito Akinori
    • 雑誌名

      Acoustical Science and Technology

      巻: 41 ページ: 788~791

    • DOI

      10.1250/ast.41.788

    • 査読あり / オープンアクセス
  • [雑誌論文] Automatic assessment of English proficiency for Japanese learners without reference sentences based on deep neural network acoustic models2020

    • 著者名/発表者名
      Fu Jiang、Chiba Yuya、Nose Takashi、Ito Akinori
    • 雑誌名

      Speech Communication

      巻: 116 ページ: 86~97

    • DOI

      10.1016/j.specom.2019.12.002

    • 査読あり
  • [雑誌論文] CycleGAN-Based High-Quality Non-Parallel Voice Conversion with Spectrogram and WaveRNN2020

    • 著者名/発表者名
      Kanagaki Aoi、Tanaka Masaya、Nose Takashi、Shimizu Ryohei、Ito Akira、Ito Akinori
    • 雑誌名

      Proceedings of 9th IEEE Global Conference on Consumer Electronics

      巻: 1 ページ: 456-457

    • DOI

      10.1109/GCCE50665.2020.9291952

    • 査読あり
  • [雑誌論文] A Study on Minimum Spectral Error Analysis of Speech2020

    • 著者名/発表者名
      Hayasaka Takuma、Nose Takashi、Ito Akinori
    • 雑誌名

      Proceedings of 9th IEEE Global Conference on Consumer Electronics

      巻: 1 ページ: 462-463

    • DOI

      10.1109/GCCE50665.2020.9291840

    • 査読あり
  • [雑誌論文] Incremental Response Generation Using Prefix-to-Prefix Model for Dialogue System2020

    • 著者名/発表者名
      Yahagi Ryota、Chiba Yuya、Nose Takashi、Ito Akinori
    • 雑誌名

      Proceedings of 9th IEEE Global Conference on Consumer Electronics

      巻: 1 ページ: 482-483

    • DOI

      10.1109/GCCE50665.2020.9291883

    • 査読あり
  • [雑誌論文] Analysis and Estimation of Sentence Speakability for English Pronunciation Evaluation2020

    • 著者名/発表者名
      Naijo Satsuki、Chiba Yuya、Nose Takashi、Ito Akinori
    • 雑誌名

      Proceedings of 9th IEEE Global Conference on Consumer Electronics

      巻: 1 ページ: 449-451

    • DOI

      10.1109/GCCE50665.2020.9292072

    • 査読あり
  • [雑誌論文] Integration of Accent Sandhi and Prosodic Features Estimation for Japanese Text-to-Speech Synthesis2020

    • 著者名/発表者名
      Fujimaki Daisuke、Nose Takashi、Ito Akinori
    • 雑誌名

      Proceedings of 9th IEEE Global Conference on Consumer Electronics

      巻: 1 ページ: 484-485

    • DOI

      10.1109/GCCE50665.2020.9291906

    • 査読あり
  • [雑誌論文] Filler Prediction Based on Bidirectional LSTM for Generation of Natural Response of Spoken Dialog2020

    • 著者名/発表者名
      Yamazaki Yoshihiro、Chiba Yuya、Nose Takashi、Ito Akinori
    • 雑誌名

      Proceedings of 9th IEEE Global Conference on Consumer Electronics

      巻: 1 ページ: 486-487

    • DOI

      10.1109/GCCE50665.2020.9291867

    • 査読あり
  • [雑誌論文] A Study on Automatic English Prosody Evaluation Using Attention-based Bidirectional LSTM2020

    • 著者名/発表者名
      Shota Ueda, Yuya Chiba, Takashi Nose, Akinori Ito
    • 雑誌名

      Proceedings of 2020 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing

      巻: 1 ページ: 295-298

    • 査読あり
  • [雑誌論文] Labeling and Analysis of Preceived Emotion for Japanese Large-Scale Emotional Speech Database JTES2020

    • 著者名/発表者名
      Mai Yamanaka, Takashi Nose, Yuya Chiba, Akinori Ito
    • 雑誌名

      Proceedings of 2020 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing

      巻: 1 ページ: 230-233

    • 査読あり
  • [学会発表] 時間・周波数連続性を考慮した畳み込みニューラルネットに基づく位相復元の検討2021

    • 著者名/発表者名
      早坂琢真, 能勢隆, 伊藤彰則
    • 学会等名
      令和3年東北地区若手研究者研究発表会
  • [学会発表] Extraction and Estimation of Sentence Speakability for English Pronunciation Evaluation2020

    • 著者名/発表者名
      Satsuki Naijo, Akinori Ito, Takashi Nose
    • 学会等名
      International Workshop on Emerging ICT
    • 国際学会
  • [学会発表] 言語・韻律情報の同時モデル化に基づく音声応答生成の検討2020

    • 著者名/発表者名
      山崎善啓,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      第90回言語・音声理解と対話処理研究会(第11回対話システムシンポジウム)
  • [学会発表] 英語発音評価における文の発音難易度推定のための特徴量の検討2020

    • 著者名/発表者名
      内城沙月,伊藤彰則,能勢隆
    • 学会等名
      日本音響学会2020年秋季研究発表会
  • [学会発表] SMOCコーパス: 対話システムのための大規模マルチモーダル対面雑談コーパス2020

    • 著者名/発表者名
      山崎善啓,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      日本音響学会2020年秋季研究発表会
  • [学会発表] 雑談コーパスを用いた双方向LSTMに基づくフィラー予測の検討2020

    • 著者名/発表者名
      山崎善啓,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      日本音響学会2020年秋季研究発表会
  • [学会発表] 日本語テキスト音声合成のためのアクセント情報を考慮した単語埋め込み手法の検討2020

    • 著者名/発表者名
      藤巻大輔,能勢隆,伊藤彰則
    • 学会等名
      日本音響学会2020年秋季研究発表会
  • [学会発表] 転移学習とAttention-based LSTMに基づく英語自動韻律評価2020

    • 著者名/発表者名
      植田 翔太,千葉 祐弥,能勢 隆,伊藤 彰則
    • 学会等名
      日本音響学会2020年春季研究発表会
  • [学会発表] クラウド型汎用音声認識APIとドメイン依存音声認識器の出力統合による認識精度向上2020

    • 著者名/発表者名
      木村 崇,千葉 祐弥,能勢 隆,伊藤 彰則
    • 学会等名
      日本音響学会2020年春季研究発表会
  • [学会発表] 大規模感情音声データベースJTESへの聞き手ラベルの付与と音声感情認識での利用2020

    • 著者名/発表者名
      山中 麻衣,能勢 隆,千葉 祐弥,伊藤 彰則
    • 学会等名
      日本音響学会2020年春季研究発表会
  • [学会発表] 日本人英語評価における話者の発音能力と文の読みやすさの関係性の分析2020

    • 著者名/発表者名
      内城沙月,千葉祐弥,能勢隆,伊藤彰則
    • 学会等名
      第380回音響工学研究会

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi