2015 Fiscal Year Research-status Report
EMA計測と統計的メディア変換技術の統合による音声・調音変換技術の確立
| Project/Area Number |
15K12059
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 工学(系)研究科(研究院), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齋藤 大輔 東京大学, 情報理工学(系)研究科, 助教 (40615150)
|
|---|
| Project Period (FY) |
2015-04-01 – 2017-03-31
|
| Keywords | 調音運動計測 / EMA / 調音・音響マッピング / 統計的声質変換 / 外国語学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，調音測定技術，音響測定技術，及び，統計的メディア変換技術を統合することで，音声信号のみから調音器官（主として舌）の運動の様子を高精度に推定する基盤技術を構築し，それを外国語発音教育支援，発声障がい支援などに応用することを目的とする。目的達成のために，EMA(Electro-Magnetic Articulograph)を用いて，複数種類の音声信号・調音運動パラレルコーパスを構築，公開する。ここでは，母国語を多様な発話スタイルで発声させた場合や，バイリンガル話者を用いて，同一話者の複数言語における（各々の）音声・調音パラレルコーパスを構築する。本研究は，研究インフラの構築（コーパス構築と公開），基盤技術の構築，そして，基盤技術の応用という側面を有する。
本年度は，統計的声質変換で構築されてきた，パラレルコーパスを用いた変換用の写像関数推定技術を，１）調音運動と音声信号間に適用し，また，２）話者変換技術を話者正規化技術として導入することで，任意の話者の音声に対して，特定の話者の調音運動へと変換することを検討した。国内外の研究発表会にて成果報告をすることができた。また，北陸先端大学で利用できる，EMA 測定装置についても利用方法を習熟することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，統計的声質変換で構築されてきた，パラレルコーパスを用いた変換用の写像関数推定技術を，１）調音運動と音声信号間に適用し，また，２）話者変換技術を話者正規化技術として導入することで，任意の話者の音声に対して，特定の話者の調音運動へと変換することを検討した。国内外の研究発表会にて成果報告をすることができた。また，北陸先端大学で利用できる，EMA 測定装置についても利用方法を習熟することができた。
|
| Strategy for Future Research Activity |
今後は，複数言語での調音・音声コーパスを収録すると共に，音声提供者が発声できない音素に対して，その調音運動を推定するなど，より応用場面に則した検討を行う予定である。更には，日本語教育を対象として，学習者の音声から，その調音運動を，教師の調音器官を用いて可視化するなどの検討も進める。
|
| Causes of Carryover |
少額の研究費（約3万円）が残高として残った。研究を進める上で必要な消耗品（調音計測用消耗品や文房具類）を購入して残高0円とすることも可能でるが，次年度に繰り越せるということなので，繰り越すこととした。
|
| Expenditure Plan for Carryover Budget |
次年度に，調音計測用消耗品や文房具類を購入する。
|
