2023 Fiscal Year Research-status Report
Speech Processing Based on Deep Gaussian Process With Stochastic Differential Equation Layers
| Project/Area Number |
21K11955
|
|---|
| Research Institution | CyberAgent, Inc. AI tech studio AI Lab |
|---|
Principal Investigator |
郡山 知樹 株式会社サイバーエージェント(AI事業本部 AI Lab), AItech Studio AI Lab, リサーチサイエンティスト (50749124)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 機械学習 / 深層学習 / ガウス過程 / アライメント |
|---|
| Outline of Annual Research Achievements |
近年主流となっている深層ニューラルネットワーク(Deep neural network, DNN)に基づく音声情報処理は、大量の音声データを用いて大量のパラメータを学習する手法である。しかし、音声は言語・方言や話者、話し方や周囲の環境など多様性が非常に高いため、あらゆる音声を収録することは非常に困難である。そのため、例えば収録音声を十分に用意できない話者の音声を生成するone-shot音声合成のように、大量のパラメータを用いることに適さない音声情報処理が多く存在する。そこで本研究の目的は、少量のパラメータであっても複雑な関数を表現可能である、層の微分方程式表現を用いたいわゆる無限層の深層学習に基づく音声情報処理、特に音声合成における有効性を調査することである。これまで、DNNと同様の機能を持つ層を、より性能の高いDGPでも実現できることを示し、さらに深い構造や時間的な構造を取り入れるため、層の微分方程式表現を導入することを目的としていた。
しかし、検討の結果、深層ガウス過程の計算量の問題から、当初の方向性で研究を実施することは困難であることがわかった。そこで、今年度は、研究の目的に掲げていた、音声の時間方向のモデル化の自由度を高める方法として、音声と言語情報の伸縮や一致を表すアライメントに研究の主眼を置いた。アライメントは音声のどの時間に音素や文字と言った言語情報が発せられていたかを同定するタスクであり、アライメントの高精度可により、音声の分析や音声合成の品質向上に繋がるだけでなく、長さの異なる音声情報と言語情報のモデル化の自由度を向上させる。今年度の成果では、従来手法より高精度なアライメントが実現できることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究の目標である層の微分方程式表現を用いたモデルの検討であるが、当初の見通しには問題があったため、方向転換を行った。そのため、進捗は遅れていると言える。
|
| Strategy for Future Research Activity |
今後の研究は、今年度得られた成果である高精度なアライメントを用いて、音声の時間的構造を表現可能な音声情報処理を提案する。具体的には、音声合成モデルにおけるアライメントを拡張し学習の高速化を行うことで、音声合成モデルの検討サイクルを向上させる。また、現在のアライメントモデルは時間方向に離散情報を用いているが、実際の音声は連続的に変化しているという矛盾点が存在する。そこで微分方程式表現の導入によって、より高精度なアライメントの実現を目指す。
|
| Causes of Carryover |
本年度の進捗の成果に対して、学会発表および論文発表が次年度となったため次年度使用額が発生した。また、研究の方向性の調整に伴う研究発表に、次年度の額を用いる。
|
