| Project/Area Number |
18H04107
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
牧野 武彦 中央大学, 経済学部, 教授 (00269482)
山内 豊 創価大学, 教育学部, 教授 (30306245)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥40,560,000 (Direct Cost: ¥31,200,000、Indirect Cost: ¥9,360,000)
Fiscal Year 2020: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000)
Fiscal Year 2019: ¥10,010,000 (Direct Cost: ¥7,700,000、Indirect Cost: ¥2,310,000)
Fiscal Year 2018: ¥10,790,000 (Direct Cost: ¥8,300,000、Indirect Cost: ¥2,490,000)
|
|---|
| Keywords | 外国語教育 / シャドーイング / 可解性と了解性 / 音声認識 / 定量的計測 / comprehensibility / 音素事後確率 / 発音評価 |
|---|
| Outline of Annual Research Achievements |
外国語学習の主目的は，対象言語を用いた他者との音声コミュニケーションであるが，その言語を日常使う機会に恵まれなければ，外国語訛りが強く残り，聴取者にとって聞き取り難い発音となる。学習者発音を矯正する場合，教師は自身が内在的に持つモデル発音との差異に基づいて矯正し，これを技術的に実現する場合も，母語話者発音モデルとの差異を自動検出することになる。これらは母語話者のような(native-souding)発音を学習目標とした指導戦略と言えるが，外国語音声学習の主目的は十分伝わる可解性の高い(comprehensible enough)発音の獲得である。この場合，聴取者が持つと想定される発音逸脱への許容度を前提とした指導が必要となるが，聴取者の許容能力を計測・モデル化することが困難であるため，発音了解性に基づく音声指導は，教師の経験と直感に頼らざるを得なかった。本研究では，1) 学習者音声o(t)に対する母語話者シャドーイングを通して，各音声に対して了解度の時系列パターン i(t) を定量的に導出し，o(t) と i(t) のパラレルコーパスを構築する。2) それを用いて，任意の学習者音声のどこが，どの程度聞き取り難くなるのかを深層学習によって予測する技術を構築する。3) 最終的に，LA を母語とし LB を学ぶ学習者群と，LB を母語とし LA を学ぶ学習者群に対して，互いに他群の学習者音声をシャドーイングさせ(互いに他者の評価者となり)，学習者音声のどこで了解性が低下するのかを教示する教育インフラを構築・公開し，外国語音声教育に貢献する。2018年度は学習者音声に対して音素事後確率を推定し i(t) とする方式を提案した。その後，シャドー音声以外に母語話者の読み上げ音声を利用する手法を考案することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
学習者音声の comprehensibility を自動予測するための検討を行った。通常，学習者音声を評価する場合，学習者音声を分析対象とし，母語話者の発声や発音と比較してスコア化（定量化）するが，これは母語話者発音とのずれを求めることに等しい。母語話者（モデル話者）とは異なる発音であっても十分理解できる発音も多く，母語話者らしさではなく，聞き手にとって理解しやすいか（comprehensibility）に基づく自動評価が求められている。本研究では，学習者の音声ではなく，聞き手の挙動を分析対象とした。聞き手（母語話者）に学習者音声をシャドーさせ，そのシャドーイング音声の崩れを計測する。また，シャドーイング時の表情をビデオ録画するとともに，表情筋の筋電変化を計測した。実験の結果，学習者音声を分析するよりも，母語話者聴取者のシャドーイング音声の崩れに着眼した方が，聞き手が感じ取る comprehensibility を精度よく近似できることがわかった。また，聞き手の表情にも聞き取り易さ／難さが観測される様子も実験的に示すことができた。これらの結果は，国内外の研究発表会で発表するとともに，サバティカルプログラムで訪問した，南米，北米，欧州の関連研究者から，非常に高い評価を受けた。
|
| Strategy for Future Research Activity |
母語話者のシャドーイング音声に対して深層学習に基づく音声認識技術の特徴抽出モジュールを適用し，シャドーイング音声の音素事後確率ベクトル系列（ポステリオグラム）に変換し，意図された音素の確率値を計算する，ということを行っていた。これに対し，母語話者にシャドーさせるだけでなく，その後に，学習者が意図したテキストを読ませ，シャドーイング音声とリーディンング音声を比較することで，シャドー音声の崩れを計測できることに気づいた。事後確率を求めるよりも，より枯れた技術でシャドーの崩れを定量化できるため，シャドーの崩れをラベル（アノテーション）とすることを目的とすれば，後者の方がより適した技術実装系であると思われる。本年度は，この方法論と昨年検討したポステリオグラムに基づく手法とを比較し，母語話者シャドイングを spoken annotation として利用することの妥当性を検討する。と同時に，シャドーイング音声の収録を大規模に行うためのインフラ整備も行う予定である。
|
