• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2015 年度 実績報告書

音声からの調音運動抽出に基づく発音マップ・調音動作アニメ表示法と発音矯正への適用

研究課題

研究課題/領域番号 25280128
研究機関早稲田大学

研究代表者

新田 恒雄  早稲田大学, グリーンコンピューティングシステム研究機構, 教授 (70314101)

研究分担者 林 良子  神戸大学, その他の研究科, 教授 (20347785)
入部 百合絵  愛知県立大学, 情報科学部, 講師 (40397500)
河合 剛  北海道大学, その他の研究科, 准教授 (70312981)
桂田 浩一  豊橋技術科学大学, 学内共同利用施設等, 准教授 (80324490)
研究期間 (年度) 2013-04-01 – 2016-03-31
キーワード発音学習 / 調音特徴抽出 / 発音マップ / 調音ジェスチャ / HTML5
研究実績の概要

H27 年度は,次に示す4 項目に沿って研究を進めた。
(1) 「音声-調音特徴変換エンジンを開発する」については,これまでDNN(deep neural network)の入力として使用してきた音声スペクトラム系列に加えて,テンソル空間の特徴を使用した方式を検討し,英語音素認識性能において大きく性能を向上できることを確認した。
(2) 「調音特徴系列から単語中の音素を選択して発音マップ上に表示する技術を開発する」については,これまでのFlash Player に変えて,近年多くのブラウザが対応しているHTML5による表示を実装した。
(3) 「調音特徴系列から調音動作を推定してアニメーション表示する技術を開発する」については,調音のかなめとなる部位が教師と学習者でどのように違っているかをハイライトして指摘する機能をHTML5で実装した。
(4) 「(2)および(3)の技術を基に実時間で動作する学習システムを構築し,教育現場において導入効果を評価する」については,webベースの学習システムを開発して,発音マップのサブシステムと調音ジェスチャアニメのサブシステム双方で発音矯正に必要な機能動作を確認した。 一方,(1)で開発した新しい調音特徴変換エンジンを(2)と(3)のサブシステムと接続する実験,および (4)のHTML5ベース学習システムを教育現場で評価する実験については,研究の期間中に終えることができなかった。この二つについては,本基盤研究を発展的に引き継いだ科研「音声からの発話動作可視化技術に基づく発話訓練支援の研究」(基盤(C)H27 – H29: 代表者入部) の中で実現していきたいと考えている。

現在までの達成度 (段落)

27年度が最終年度であるため、記入しない。

今後の研究の推進方策

27年度が最終年度であるため、記入しない。

次年度使用額が生じた理由

27年度が最終年度であるため、記入しない。

次年度使用額の使用計画

27年度が最終年度であるため、記入しない。

  • 研究成果

    (24件)

すべて 2016 2015

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件、 謝辞記載あり 1件) 学会発表 (20件) (うち国際学会 11件、 招待講演 2件) 図書 (2件)

  • [雑誌論文] Designing XML scema for classroom discourse visual representation through XSLT2016

    • 著者名/発表者名
      Noriaki Katagiri and Goh Kawai
    • 雑誌名

      Journal of the Hokkaido University of Education

      巻: 66 (2) ページ: 1-16

    • 査読あり
  • [雑誌論文] Using Reversed Sequences and Grapheme Generation Rules to Extend the Feasibility of a Phoneme Transition Network-based Grapheme-to-Phoneme Conversion2015

    • 著者名/発表者名
      Seng Kheang, Kouichi Katsurada, Yurie Iribe and Tsuneo Nitta
    • 雑誌名

      IEICE Transaction on Information and System

      巻: Vol.E99-D, No.4 ページ: 1182-1192

    • DOI

      10.1587/transinf.2015EDP7349

    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] オートエンコーダと話者 性変換ユニットを用いた声質変換法の提案2016

    • 著者名/発表者名
      入澤浩太郎,桂田浩一,新田恒雄,入部百合絵
    • 学会等名
      日本音響学会2016年春季研究発表会
    • 発表場所
      桐蔭横浜大学,横浜市
    • 年月日
      2016-03-09 – 2016-03-11
  • [学会発表] Suffix Array を用いた高 速 STD システムにおけるリスコアリング法の検討2016

    • 著者名/発表者名
      石原元気,桂田浩一,新田恒雄,入部百合絵
    • 学会等名
      日本音響学会2016年春季研究発表会
    • 発表場所
      桐蔭横浜大学,横浜市
    • 年月日
      2016-03-09 – 2016-03-11
  • [学会発表] Audio-visual speech recognition using deep bottleneck features and high-performance lipreading2015

    • 著者名/発表者名
      Satoshi Tamura, Hiroshi Ninomiya, Norihide Kitaoka, Shin Osuga, Yurie Iribe, Kazuya Takeda and Satoru Hayamizu
    • 学会等名
      APSIPA ASC 2015
    • 発表場所
      Hong Kong
    • 年月日
      2015-12-16 – 2015-12-19
    • 国際学会
  • [学会発表] Noise reduction from EEG using denoising autoencoder2015

    • 著者名/発表者名
      Kota Nakazawa, Junsei Horikawa, Shunji Sugimoto, Tsuneo Nitta, and Kouichi Katsurada
    • 学会等名
      The 2nd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      Fukuoka, Japan
    • 年月日
      2015-12-12 – 2015-12-13
    • 国際学会
  • [学会発表] EEG during Japanese vowel recall task2015

    • 著者名/発表者名
      Kohei Asahara, Shunji Sugimoto, Kouichi Katsurada, Tsuneo Nitta, and Junsei Horikawa
    • 学会等名
      The 2nd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      Fukuoka, Japan
    • 年月日
      2015-12-12 – 2015-12-13
    • 国際学会
  • [学会発表] Syllable recognition from EEG based on higher-order subspace method2015

    • 著者名/発表者名
      Takumaru Kanzaki, Tetsunori Kobayashi, Shunji Sugimoto, Kouichi Katsurada, Junsei Horikawa, and Tsuneo Nitta
    • 学会等名
      The 2nd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      Fukuoka, Japan
    • 年月日
      2015-12-12 – 2015-12-13
    • 国際学会
  • [学会発表] Active learning of language using hand-written comments2015

    • 著者名/発表者名
      Akio Ohnishi and Goh Kawai
    • 学会等名
      Association for the Advancement of Information and Communication Technology at Universities Conference (AXIES 2015)
    • 発表場所
      愛知県産業労働センター,名古屋市
    • 年月日
      2015-12-02 – 2015-12-04
    • 招待講演
  • [学会発表] Developing a college freshman course for spoken language analysis2015

    • 著者名/発表者名
      Goh Kawai
    • 学会等名
      Sapporo Gakuin University CALL-Plus Workshop 2015
    • 発表場所
      札幌学院大学,札幌市
    • 年月日
      2015-11-08 – 2015-11-08
  • [学会発表] Active learning of English language2015

    • 著者名/発表者名
      Goh Kawai
    • 学会等名
      Training Session for Hokkaido High School Teachers of English Language
    • 発表場所
      函館市
    • 年月日
      2015-10-30 – 2015-10-30
    • 招待講演
  • [学会発表] Development of new speech corpus for elderly Japanese speech recognition2015

    • 著者名/発表者名
      Yurie Iribe, Norihide Kitaoka, and Shuhei Segawa
    • 学会等名
      Oriental COCOSDA 2015
    • 発表場所
      Shanghai, China
    • 年月日
      2015-10-28 – 2015-10-30
    • 国際学会
  • [学会発表] 深層学習によるボトルネック特徴量を用いたマルチモーダル音声認 識2015

    • 著者名/発表者名
      田村 哲嗣,二宮 宏史,北岡教英,大須賀晋,入部百合絵,武田一哉,速水悟
    • 学会等名
      電子情報通信学会技術研究報告, SP2015-69
    • 発表場所
      神戸大学,神戸市
    • 年月日
      2015-10-16 – 2015-10-17
  • [学会発表] 深層学習によるマルチモーダル音声認識 - 画像特徴量の改善2015

    • 著者名/発表者名
      田村哲嗣,二宮宏史,北岡教英,大須賀晋,入部百合絵,武田一哉, 速水悟
    • 学会等名
      第2回サ イレント音声認識ワークショップ
    • 発表場所
      神戸大学,神戸市
    • 年月日
      2015-10-16 – 2015-10-17
  • [学会発表] Audio-visual processing toward robust speech recognition in cars2015

    • 著者名/発表者名
      Satoshi Tamura, Hiroshi Ninomiya, Norihide Kitaoka, Shin Osuga, Yurie Iribe, Kazuya Takeda, and Satoru Hayamizu
    • 学会等名
      DSP in vehicle 2015
    • 発表場所
      San Francisco, USA
    • 年月日
      2015-10-14 – 2015-10-16
    • 国際学会
  • [学会発表] Investigation of DNN-based modeling for audio-visual speech recognition2015

    • 著者名/発表者名
      Satoshi Tamura, Hiroshi Ninomiya, Norihide Kitaoka, Shin Osuga, Yurie Iribe, Kazuya Takeda, and Satoru Hayamizu
    • 学会等名
      MLSLP2015
    • 発表場所
      Aizuwakamatsu, Japan
    • 年月日
      2015-09-19 – 2015-09-20
    • 国際学会
  • [学会発表] 深層学習による音響・画像特徴量を用いたマルチモーダル音声認識2015

    • 著者名/発表者名
      田村哲嗣,二宮宏史,北岡教英,大須賀晋,入部百合絵,武田一哉,速 水悟
    • 学会等名
      日本音響学会2015年秋季研究発表会
    • 発表場所
      会津大学, 会津若松市
    • 年月日
      2015-09-16 – 2015-09-18
  • [学会発表] AutoEncoderを用いた Active Appearance Modelsの性能評価2015

    • 著者名/発表者名
      渡辺拓也,桂田浩一,新田恒雄,入部百合絵
    • 学会等名
      電子情報通信学会技術研究報告,PRMU2015-85
    • 発表場所
      愛媛大学,松山市
    • 年月日
      2015-09-15 – 2015-09-15
  • [学会発表] Bilinear map of filter-bank outputs for DNN-based speech recognition2015

    • 著者名/発表者名
      Tetsuji Ogawa, Kenshiro Ueda, Kouichi Katsurada, Tetsunori Kobayashi and Tsuneo Nitta
    • 学会等名
      Interspeech2015
    • 発表場所
      Dresden, Germany
    • 年月日
      2015-09-06 – 2015-09-10
    • 国際学会
  • [学会発表] Integration of deep bottleneck features for audio-visual speech recognition2015

    • 著者名/発表者名
      Hiroshi Ninomiya, Norihide Kitaoka, Satoshi Tamura, Yurie Iribe and Kazuya Takeda
    • 学会等名
      Interspeech2015
    • 発表場所
      Dresden, Germany
    • 年月日
      2015-09-06 – 2015-09-10
    • 国際学会
  • [学会発表] Perception of syllable-final consonants by Chinese speakers and Japanese speakers", Proceedings of the 18th International Congress of Phonetic Sciences2015

    • 著者名/発表者名
      Yaming Zhang and Ryoko Hayashi
    • 学会等名
      18th International Congress of Phonetic Sciences
    • 発表場所
      Glasgow, UK
    • 年月日
      2015-08-10 – 2015-08-14
    • 国際学会
  • [学会発表] Model Prioritization Voting Schemes for Phoneme Transition Network-based Grapheme-to-Phoneme Conversion2015

    • 著者名/発表者名
      Seng Kheang, Kouichi Katsurada, Yurie Iribe and Tsuneo Nitta
    • 学会等名
      Computer and Information Science and Technology CIST'15
    • 発表場所
      Ottawa, Canada
    • 年月日
      2015-05-11 – 2015-05-12
    • 国際学会
  • [図書] Muendiche Kommunikation im DaF-Unterricht: Phonetik, Gespraech und Rhetorik2015

    • 著者名/発表者名
      Mayako Niikura, Ryoko Hayashi, Markus Rude and Gabriela Schmidt
    • 総ページ数
      169
    • 出版者
      Iudicium
  • [図書] Identification of Word Boundaries and Accented Syllables in German by German and Non-German Listeners2015

    • 著者名/発表者名
      Hansjoerg Mixdorff, Ryoko Hayashi and Saori Ushiyama
    • 総ページ数
      406
    • 出版者
      Trends in Phonetics and Phonology (Peter Lang)

URL: 

公開日: 2017-01-06  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi