2013 Fiscal Year Annual Research Report
ヒト発話シミュレータによるStory Teller Systemの構築
| Project/Area Number |
25240026
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
赤木 正人 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (20242571)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
党 建武 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (80334796)
鵜木 祐史 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00343187)
田中 宏和 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00332320)
宮内 良太 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (30455852)
森川 大輔 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70709146)
末光 厚夫 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (20422199)
川本 真一 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70418507)
北村 達也 甲南大学, 知能情報学部, 教授 (60293594)
ERICKSON Donna 昭和音楽大学, 音楽学部, 非常勤講師 (80331586)
榊原 健一 北海道医療大学, 心理科学部, 准教授 (80396168)
齋藤 毅 金沢大学, 電子情報学系, 助教 (70446962)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 音声情報処理 / 音声合成 / 音声知覚 / 音声生成 |
|---|
| Research Abstract |
本研究では，研究代表者らが提案している非言語情報に関する音声知覚モデルとヒトの生理機構に基づいた音声生成モデルを，知覚と生成の相互作用を記述した脳モデルにより結合することで，合成音声へのパラ言語・非言語情報付加が可能なStory Teller Systemの構築を行う。解くべき課題は，(A) 生成モデルのコントロール手法が未だ手動であり確立されていないこと，(B) 知覚モデルで扱える発話スタイルが一部に限られていること，(C) これらのモデルを結びつけるモデルを構築できていないこと，である。そこで，これらの課題を克服するために，以下に示す４つの項目について研究を実施した。
(1) 生成モデルの精緻化：声帯音源モデルについては，生成された感情音声からのLFモデルによる声帯音源波形推定を試み，高精度での推定に成功した。これにより，様々な声質の音声を合成できるめどがついた。調音モデルについては，固有話者の生理学的生成モデルをもとに，他話者の生理学的形状に変形する個人化の手法にめどがついた。これにより，生理学的生成モデルを用いて複数の話者の音声が生成可能となる。
(2) 知覚モデルの拡張：聴取実験により感情および歌声聴取時のヒトの反応（聴取印象）計測を大規模に実施した。この計測結果をもとに，ヒトの感情知覚モデルの再整備を行った。このモデルは，感情音声合成のみならず，音声中の感情認識にも有効であることが明らかとなった。
(3) 脳モデルの構築：脳モデル構築の一環として，感情音声知覚時の脳活動計測を実施するために，刺激音として感情を含む音声の収集および合成を行った。
(4) Story Teller 用合成エンジンの構築：パラ言語・非言語情報付加が簡単に行えるようなTTSシステムについて，基礎検討を始めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) 生成モデルの精緻化，(2) 知覚モデルの拡張，(4) Story Teller 用合成エンジンの構築，については，
声帯音源モデルについては生成された感情音声からのLFモデルによる声帯音源波形推定を試み，高精度での推定に成功したこと，知覚モデルの拡張については大規模に実施した聴取実験結果をもとにヒトの感情知覚モデルの再整備を行ったこと，Story Teller 用合成エンジンの構築については情報付加が簡単に行える合成システムについて基礎検討を始めたことを考慮し，ほぼ当初予定通りの進捗状況であると考える。(3) 脳モデルの構築，については，計測実験のために感情を含む刺激として用いることができるような，意図したとおりの音声がなかなか得られず，刺激の作成までとなった。
|
| Strategy for Future Research Activity |
(1) 生成モデルの精緻化，(2) 知覚モデルの拡張，(3) 脳モデルの構築，について，
(1) 生成モデルの精緻化：声帯音源モデルでは，LFモデルによる声帯音源波形推定の結果をもとに，推定された声帯音源波形を変形し，合成の入力に資することを試みる。調音モデルでは，生理学的生成モデルの個人化をさらに進め，生理学的生成モデルの精緻化を試みる。さらに，様々な発話スタイルでの音声に含まれる音響特徴を解析し，生成系の調音運動との対応を試みる。
(2) 知覚モデルの拡張：聴取実験により表現豊かな音声聴取時のヒトの反応の計測について，この計測をこのまま継続する。また，結果を知覚モデル構築に生かす。聴取実験用データベースがまだ不足しているため，引き続き音声資料の収集を試みる。
(3) 脳モデルの構築：感情音声聴取時および発話スタイル模倣発話時に，脳活動の変化を計測し，生成と知覚の相互作用の観測を行う。これにより知覚による生成機構の制御の実態が明らかとなる。さらに，観測結果を検討し，知覚モデル出力と入力である意図した発話スタイルの差情報の算出が可能なモデルの検討を行う。
|
Research Products
(112 results)
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] Calculating articulatory syllable duration and phrase boundaries2014
Author(s)
Erickson, D., Kawahara, S., Moore, J., Menezes, C. Suemitsu, A., and Shibuya, Y.
-
Journal Title
Proc. ISSP2014
Volume: なし
Pages: CD-ROM
Peer Reviewed
-
-
-
-
[Journal Article] Improving naturalness of HMM-based TTS trained with limited data by temporal decomposition2013
Author(s)
Phung, T. N., Phan, T. S., Vu, T. T., Loung, M. C., and Akagi, M.
-
Journal Title
IEICE Trans. Inf. & Syst.
Volume: E96-D, 11
Pages: 2417-2426
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] Neutralizing differences in jaw displacement for English vowels2013
Author(s)
Williams, J.C., Erickson, D., Ozaki, Y., Suemitsu, A. Minematsu, N., Fujimura, O.
-
Journal Title
Proc. of International Congress of Acoustics
Volume: なし
Pages: CD-ROM
Peer Reviewed
-
[Journal Article] Neutralizing differences in mandible displacement for English vowels2013
Author(s)
Erickson, D., Williams, J.C., Ozaki, Y., Suemitsu, A., Minematsu, N., Fujimura, O.
-
Journal Title
Proc. of International Congress of Acoustics
Volume: なし
Pages: CD-ROM
Peer Reviewed
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Supranormal voices in singing2013
Author(s)
K.-I. Sakakibara
Organizer
Proc. Stockholm Music Acoustics Conference 2013
Place of Presentation
KTH Royal Institute of Technology, Stockholm, Sweden
Year and Date
20130730-20130803
Invited
-
-
-
-
-
-
-
-
-
-
-
-
-
-
