• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2008 Fiscal Year Annual Research Report

音声の分節的・韻律的特徴を包含する発音の構造的表象に基づく外国語教育・学習支援

Research Project

Project/Area Number 20300265
Research InstitutionThe University of Tokyo

Principal Investigator

峯松 信明  The University of Tokyo, 大学院・情報理工学系研究科, 准教授 (90273333)

Co-Investigator(Kenkyū-buntansha) 山内 豊  東京国際大学, 商学部, 教授 (30306245)
牧野 武彦  中央大学, 経済学部, 准教授 (00269482)
Keywords音声の構造的表象 / f-divergence / 話者不変表象 / CALL / 発音習熟度 / 発音診断 / 小学校の英語教育 / シャドーイング
Research Abstract

音声が運ぶ情報は大きく,言語的情報,パラ言語的情報,非言語的情報に分かれる。我々は音声から非言語的情報に相当する音響特徴量のみを分離する方法を提案している。年齢・性別による音声の音響的変形,収録機器・伝送機器による音声の音響的変形はいずれも,静的な空間写像として数学的にモデル化できる。よって,写像不変量でもって音声を表象・モデル化することで,静的な変形(変換)に不変な音声情報処理が可能となる。我々は分布間の距離尺度であるf-divergenceが如何なる変換に対しても不変であることを証明しており,発声中の全ての音響事象を分布として捉え,任意の二分布間(事象間)距離を計測し,距離行列として音声を(話者不変的に)表象する手法を提案している。距離行列は一つの幾何学的形態を規定するため,これを音声の構造的表象と呼んでいる。本研究では,この構造表象を用いて外国語学習者の発音を表象することで,学習者の年齢・性別に影響を受けない発音表象が得られる。既にこの構造表象に基づいて英語・米語母音群を構造的に表象し,学習者毎に母音構造を取得し,それに基づいて発音習熟度の推定,発音診断を行う方法を検討してきた。本年度は,子音までを含めた構造表象を得ること,また,文音声からその文に対応する構造表象の抽出することを目的として,実験的検討を重ねてきた。
子音までを含めた構造表象の場合,話者による声の変形は母音と(無声)子音とは異なるため,これらの音群を分けて構造化するころが望ましい。また,一発声からの構造化は既に構造表象に基づく音声認識で検討していたが(MAP推定に基づくHMMパラメータ推定を通して行う構造化),これをそのまま利用するだけでは発音の差異を十分に反映した形での構造化は困難であることが示された。次年度以降,一発声からの構造化は異なる要素技術の開発が必要である。

  • Research Products

    (22 results)

All 2008

All Journal Article (8 results) (of which Peer Reviewed: 8 results) Presentation (12 results) Book (2 results)

  • [Journal Article] Training of pronunciation as learning of the sound system embedded in the target language2008

    • Author(s)
      N.Minematsu
    • Journal Title

      Proc.Int.Symposium on Phonetic Frontiers (CD-ROM)

    • Peer Reviewed
  • [Journal Article] Holistic and prosodic representation of the segmental aspect of speech2008

    • Author(s)
      N.Minematsu, T.Nishimura, D.Saito, S.Asakawa, Y.Qiao
    • Journal Title

      Proc.Int.Conf.Speech Prosody

      Pages: 169-172

    • Peer Reviewed
  • [Journal Article] Automatic pronunciation evaluation of language learners' utterances generated through shadowing2008

    • Author(s)
      D.Luo, N.Shimomura, N.Minematsu, Y.Yamauchi, K.Hirose
    • Journal Title

      Proc.INTERSPEECH

      Pages: 2807-2810

    • Peer Reviewed
  • [Journal Article] f-divergence is a generalized invariant measture between distributions2008

    • Author(s)
      Y.Qiao, N.Minematsu
    • Journal Title

      Proc.INTERSPEECH

      Pages: 1349-1352

    • Peer Reviewed
  • [Journal Article] Automatic assessment of utterances shadowed by learners using speech technologies2008

    • Author(s)
      D.Luo, N.Minematsu, Y.Yamauchi, K.Hirose
    • Journal Title

      Proc.Int.Workshop on Language and Speech Science (CD-ROM)

    • Peer Reviewed
  • [Journal Article] Are language learners myna birds? -a note of warning from a serious speech engineer-2008

    • Author(s)
      N.Minematsu
    • Journal Title

      Proc.WordCALL (CD-ROM)

    • Peer Reviewed
  • [Journal Article] Speech as timbre-based melody -what in parents' voices do infants imitate acoustically?-2008

    • Author(s)
      N.Minematsu, T.Nishimura
    • Journal Title

      Proc.Int.Conf.Language, Music, and the Mind (CD-ROM)

    • Peer Reviewed
  • [Journal Article] Multi-stream parameterization for structural speech recognition2008

    • Author(s)
      S.Asakawa, N.Minematsu, K.Hirose
    • Journal Title

      Proc.ICASSP

      Pages: 4097-4100

    • Peer Reviewed
  • [Presentation] 音声言語運用が要求する認知的能力と音声言語工学が構築した計算論的能力2008

    • Author(s)
      峯松信明
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      早稲田大学
    • Year and Date
      2008-12-09
  • [Presentation] Dialect-based speaker classification of Chinese using acoustic features invariant with extra-linguistic factor2008

    • Author(s)
      X.Ma, N.Minernatsu, Y.Qiao, K.Hirose, A.Nemoto, F.Shi
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      早稲田大学
    • Year and Date
      2008-12-09
  • [Presentation] 音声の構造的表象と判別分析を用いた単語音声認識2008

    • Author(s)
      朝川智, 喬宇, 峯松信明, 広瀬敬吉
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      早稲田大学
    • Year and Date
      2008-12-09
  • [Presentation] Structural representation with a general form of invariant divergence2008

    • Author(s)
      喬宇, 峯松信明
    • Organizer
      日本音響学会秋季全国大会
    • Place of Presentation
      九州大学
    • Year and Date
      2008-09-11
  • [Presentation] Dimension reduction and discrimination analysis for Japanese connected vowel recognition2008

    • Author(s)
      喬宇, 朝川智, 峯松信明, 広瀬敬吉
    • Organizer
      日本音響学会秋季全国大会
    • Place of Presentation
      九州大学
    • Year and Date
      2008-09-11
  • [Presentation] 判別分析と構造表象を用いた話者の多様性に超頑健な音声認識2008

    • Author(s)
      朝川智, 喬宇, 峯松信明, 広瀬敬吉
    • Organizer
      日本音響学会秋季全国大会
    • Place of Presentation
      九州大学
    • Year and Date
      2008-09-11
  • [Presentation] Chinese dialect classification using acoustic universal structure in speech2008

    • Author(s)
      X.Ma, M.Takazawa, N.Minematsu, K.Hirose
    • Organizer
      日本音響学会秋季全国大会
    • Place of Presentation
      九州大学
    • Year and Date
      2008-09-11
  • [Presentation] シャドーイング訓練法における外国語学習者の発音分類とその自動評価2008

    • Author(s)
      羅徳安, 下村直也, 峯松信明, 山内豊, 広瀬敬吉
    • Organizer
      日本音響学会秋季全国大会
    • Place of Presentation
      九州大学
    • Year and Date
      2008-09-10
  • [Presentation] 変換不変性を有するダイバージェンスの一般形2008

    • Author(s)
      喬宇, 峯松信明
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      県立岩手大学
    • Year and Date
      2008-07-18
  • [Presentation] 外国語学習を対象としたシャドーイング音声の自動評定法に関する検討2008

    • Author(s)
      羅徳安, 下村直也, 峯松信明, 山内豊, 広瀬敬吉
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      大学共同利用施設ACU
    • Year and Date
      2008-06-27
  • [Presentation] 英語・中国語・母語話者の日本語朗読音声のF0に現れる特徴2008

    • Author(s)
      平野宏子, 広瀬敬吉, 河合剛, 峯松信明
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      大学共同利用施設ACU
    • Year and Date
      2008-06-27
  • [Presentation] 音声の不変表象に基づく語ゲシュタルトの物理的解釈とそれに基づく幼児の音声模倣の実装2008

    • Author(s)
      齋藤天輔, 朝川智, 峯松信明, 西村多寿子, 広瀬敬吉
    • Organizer
      人工知能学会全国大会
    • Place of Presentation
      北海道・旭川
    • Year and Date
      2008-06-13
  • [Book] Consideration of infants' vocal imitation through modeling speech as timbre-based melody in New Frontiers in Artificial Intelligence, LNAI49142008

    • Author(s)
      N.Minematsu, T.Nishimura
    • Total Pages
      14
    • Publisher
      Springer
  • [Book] 「あ」という声を聞いて母音「あ」と同定する能力は音声言語運用に必要か? ~音声認識研究からの一つの提言~, 日本語学4月号2008

    • Author(s)
      峯松信明
    • Total Pages
      11
    • Publisher
      明治書院

URL: 

Published: 2011-06-16   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi