Research Project
Grant-in-Aid for JSPS Fellows
本研究課題では、人間の音声知覚を統計的にモデル化し、多様な音声を自在に生成・制御可能な音声合成技術の実現を目指している。具体的には、音声合成技術により生成される合成音声の高品質化に加え、所望の合成音声を生成するために用いる、音声合成に対する補助的な入力（例えば、音声の話者を表す特徴量）の解釈性の低さといった従来技術の問題点を解決する。このような技術は、音声バーチャルリアリティによる身体的制約を超えた自己表現の拡張や、実際に利用される環境に適応可能な音声合成技術の実現に応用できると考える。今年度は特に、①利用者の主観的印象のグラフ表現を用いた話者ベクトル学習、 ②主観的印象スコア収集と話者ベクトル学習を反復するactive learningの2つに取り組んだ。①では、複数話者間の知覚的な類似度という関係性をグラフで表現し、深層学習に基づくグラフ表現学習により話者を表す特徴量（話者ベクトル）を学習する手法を提案した。実験的評価により、グラフ学習により得られた話者ベクトルが合成音声の自然性改善に最も有効であることを示した。この研究成果は、日本音響学会 粟屋 潔学術奨励賞を受賞している。②では、話者間類似度の知覚評価と話者ベクトル学習を反復し、解釈しやすい話者ベクトルを少ない計算コスト・評価コストで学習する手法を提案した。課題遂行最終年度である本年度は、研究成果の総括も行った。これまでの研究成果をまとめた原著論文は、音声信号処理分野におけるフラッグシップ論文誌であるIEEE/ACM TASLP誌に採録された。さらに、本研究課題の研究成果を含めて作成した博士論文は非常に高く評価され、東京大学 大学院情報理工学研究科において、各専攻から最も優れた博士課程学生を1名ずつ選出して授与される研究科長賞を受賞した。
令和2年度が最終年度であるため、記入しない。
All 2021 2020 2019 2018
All Journal Article (4 results) (of which Int'l Joint Research: 1 results, Peer Reviewed: 4 results, Open Access: 4 results) Presentation (9 results) (of which Int'l Joint Research: 2 results)
Acoustical Science and Technology
Volume: 42 Issue: 1 Pages: 1-11
10.1250/ast.42.1
130007965442
IEEE/ACM Transactions on Audio, Speech, and Language Processing
Volume: 29 Pages: 1033-1048
10.1109/taslp.2021.3059114
IEICE Transactions on Information and Systems
Volume: E103.D Issue: 9 Pages: 1978-1987
10.1587/transinf.2019EDP7297
130007894624
Computer Speech & Language
Volume: 58 Pages: 347-363
10.1016/j.csl.2019.05.008
