2015 Fiscal Year Annual Research Report
ヒト発話シミュレータによるStory Teller Systemの構築
| Project/Area Number |
25240026
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
赤木 正人 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (20242571)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 宏和 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00332320)
鵜木 祐史 北陸先端科学技術大学院大学, 情報科学研究科, 准教授 (00343187)
末光 厚夫 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (20422199)
宮内 良太 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (30455852)
北村 達也 甲南大学, 知能情報学部, 教授 (60293594)
川本 真一 群馬工業高等専門学校, 電子情報工学科, 講師 (70418507)
齋藤 毅 金沢大学, 電子情報学系, 助教 (70446962)
森川 大輔 北陸先端科学技術大学院大学, 情報科学研究科, 助教 (70709146)
Erickson Donna 金沢医科大学, 教養部, 非常勤講師 (80331586)
党 建武 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (80334796)
榊原 健一 北海道医療大学, 心理科学部, 准教授 (80396168)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 音声情報処理 / 音声合成 / 音声知覚 / 音声生成 |
|---|
| Outline of Annual Research Achievements |
本研究では，非言語情報に関する音声知覚モデルと音声生成モデルを，知覚と生成の相互作用を記述した脳モデルにより結合することで，合成音声へのパラ言語・非言語情報付加が可能なStory Teller Systemの構築を行う。このために，(A) 生成モデルのコントロール手法の確立，(B) 知覚モデルで扱える発話スタイルの拡張，(C) これらのモデルを統合したシステムの構築ついて研究を実施した。
１．知覚モデルの逆モデルによる感情音声合成 27年度は，提案している知覚モデルを入出力逆に用いることにより，感情音声合成システムを構築し，音声合成を試みた。このシステムの入力は，Valence-Activation (V-A) 空間内での任意の位置情報と平静に発話された音声である。また出力は，平静音声からV-A空間の位置情報を用いて変形された感情音声波形である。合成した音声の聴取実験による評価を行った結果，Joy, Angry, Sadそれぞれの感情をもつ音声が合成されたことが明らかとなった。
２．知覚モデルの拡張 27年度は，前年度に行った日，米，中，独，越5か国語を用いた知覚印象採取のための聴取実験の結果を踏まえて，知覚モデルの再構築を行った。そして，再構築したモデルを用いて，複数言語（日，中，独3か国語）をカバーするV-A空間の位置情報推定を行った。この結果，従来の手法よりも高精度な位置推定が可能となった。推定された位置情報をもとに感情認識を行った結果，各国語向けに調整された従来の認識器とほぼ同等の性能を得た。
３．統合システムの構築 27年度は，V-A感情空間上ですべてのモデルを統合するために，知覚モデル，知覚モデルの逆モデル，平静音声への意図した感情の付加システム，すべてをV-A感情空間の位置情報をもとにして構築した。これにより，これらのモデルおよびシステムの統合の枠組みがそろった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) 知覚モデルの拡張については，大規模に実施した聴取実験結果をもとに，複数言語のための合成感情音声評価モデルの構築を進めたこと，また，複数言語の知覚にもとづいた音響特徴推定モデルを構築し，意図した知覚印象を与える音響特徴を推定することに成功したこと。
(2) 生成モデルの精緻化については，感情音声データベースの整備，このデータを用いたLFモデルによる声帯音源波形推定を実施し，声帯音源モデルのパラメータを適切に制御することにより感情音声合成が行える可能性を示したこと，また，知覚モデルの逆モデルを用いて，意図した感情付加が可能となったこと。
(3) 統合システムの構築については，すべてのモデル，システムについて Valence-Activation空間での感情表現を採用し，生成モデルと知覚モデルの一体化を図ったこと，これにより，統合システムの構築が容易になったこと。
これらを考慮し，ほぼ当初予定通りの進捗状況であると考える。
|
| Strategy for Future Research Activity |
本年度は最終年度であるため，過去3年間に実施した内容も考慮の上，以下に示す研究実施計画の概要にもとづいて研究を実施する。Story Teller System 構築に向けて，生成・知覚モデルを統合するために，脳モデルとしてValence-Activation (V-A)空間での感情表現を用いる。そして，このもとで，生成モデル，知覚モデルを結合し，デモシステムを構築する。これを実現するための解くべき課題は，(A) 生成モデルのコントロール手法の確立（生成モデルの課題），(B) 知覚モデルで扱える発話スタイルの拡張（知覚モデルの課題），(C) これらのモデルを統合したシステムの構築，である．
具体的には，
(1) 統合システム： ストーリーテラーシステムへの入力，この値にもとづいた合成音声の作成，合成音声の客観評価値，すべてをV-A空間上での位置情報をもとに表現することで，これらのシステムを統合する。そして，デモシステム（入力は，物語テキストから合成した平静な音声と物語のそれぞれの文に与えたV-A空間上での位置。この情報から，表現豊から物語朗読音声を出力）を構築する。(2) 生成モデル： 昨年度提案した三層構造の音声変形システム（入力は平静な発話音声とV-A空間上での位置。出力はV-A空間上での位置に対応した感情音声）をデモシステムとして用い，表現豊から物語朗読音声の合成を試みる。また，より生理学的な音声生成機構を模擬したARX-LFモデルによる表現豊かな音声の生成も試みる。(3) 知覚モデル： 生成モデルで合成された表現豊かな音声は，まだ完全ではない。このため，知覚モデル（入力は合成された表現豊かな音声。出力はV-A空間上での位置）を表現豊かな音声の客観的評価システムとして用い，生成モデルと合成音の客観的評価により自動で目標の知覚印象（V-A空間上での目標位置）に近づくようにモデルパラメータを制御するための方法を提案する。
を実施する。
|
-
-
-
-
-
-
-
[Journal Article] Relationship of various open quotients with acoustic property, phonation types, fundamental frequency, and intensity2016
Author(s)
H. Yokonishi, H. Imagawa, K.-I. Sakakibara, A. Yamauchi, T. Nito, T. Yamasoba, N. Tayama
-
Journal Title
J. Voice
Volume: 30, 2
Pages: 145-157
DOI
Peer Reviewed / Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] これからの歌声合成について2015
Author(s)
齋藤毅・河原英紀・徳田恵一・石川克己・中野倫靖
Organizer
情報処理学会MUS研究会
Place of Presentation
金沢大学サテライトプラザ（石川県金沢市）
Year and Date
2015-11-07 – 2015-11-08
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Bridging articulation and perception: The C/D model and contrastive emphasis2015
Author(s)
Erickson, D., Kim, J., Kawahara, S., Wilson, I., Menezes, C., Suemitsu, A., Moore, J.
Organizer
18th International Congress of Phonetic Sciences (ICPhS 2015)
Place of Presentation
Glasgow, UK
Year and Date
2015-08-10 – 2015-08-14
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
