• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

Human Learning from Ears: Research on Otopecia

Research Project

Project/Area Number 26540092
Research InstitutionNational Institute of Informatics

Principal Investigator

佐藤 健  国立情報学研究所, 情報学プリンシプル研究系, 教授 (00271635)

Co-Investigator(Kenkyū-buntansha) 山岸 順一  国立情報学研究所, コンテンツ科学研究系, 准教授 (70709352)
Project Period (FY) 2014-04-01 – 2017-03-31
Keywords音声合成 / 話者適応 / ディープラーニング / オトペディア
Outline of Annual Research Achievements

聴覚を利用した学習ツールは、満員電車での通勤時やジョギング時に使えるので、効率的な学習として非常に役に立つ。そして、近年そのようなコンテンツを高速に多量に生成できる音声合成ツールが開発されており、このようなツールの開発は加速されると考える。この研究では、聴覚を利用した学習教材に関して、記憶に効果的な情報提示法の研究および、そのような情報提示法を利用した学習ツールの効果の科学的実証を目的とした。しかしながら、情報提示法の部分で、聴覚学習モデルの構築が必要であることが判明したため、まず、それに対応するようなツールを作成することに研究計画を変更した。そこで、音声合成において話者を変換する話者適応技術の研究を進め、これまで利用した隠れマルコフモデルでなく、ディープラーニングを用いた場合でも少量の声のサンプルから声のデジタルクローンが可能であることを実験的に示した。その他、音声合成において自然な韻律を生成する AUTO REGRESSIVE RECURRENT MIXTURE DENSITY NETWORKという新たなモデルの提案及び実験も行った。また、音声合成における話者適応技術を利用したオーディオブックリーダiOSアプリも試作し、ePubフォーマットの電子書籍を所望の話者により読み上げることを実演した。これらの実験環境の構築により、話者の声の違いによるengagement timeの分析、そしてゆくゆくは、話者の声の違いにによりもたらされる学習や記憶への影響を調べる土台を構築することができた。

Remarks

受賞: 2016年12月 日本学術振興会日本学術振興会賞 山岸順一 統計的音声合成における話者適応とその応用
メディア報道:NHK「くらし解説」2017年3月3日,進化する合成音声, Forbes Japan 2016年8月19日, 声を失った人が「自分の声で会話する」方法はあるのか?

  • Research Products

    (2 results)

All 2017 2016

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results) Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] A DNN-based text-to-speech synthesis system using speaker, gender, and age codes2016

    • Author(s)
      Luong, H. T., Takaki, S., Kim, S.J., Ymagishi, J.
    • Journal Title

      The Journal of the Acoustical Society of America

      Volume: 140 Pages: -

    • DOI

      10.1121/1.4969152

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] AN AUTO REGRESSIVE RECURRENT MIXTURE DENSITY NETWORK FOR PARAMETRIC SPEECH SYNTHESIS2017

    • Author(s)
      Xin Wang, Shinji Takaki, Junichi Yamagish
    • Organizer
      The 42nd IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017)
    • Place of Presentation
      HILTON NEW ORLEANS RIVERSIDE (New Orleans, USA)
    • Year and Date
      2017-03-05 – 2017-03-09
    • Int'l Joint Research

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi