2023 Fiscal Year Research-status Report
複数の調音運動データを中間情報とするマルチモーダル音声合成
| Project/Area Number |
22K12100
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
桂田 浩一 東京理科大学, 創域理工学部情報計算科学科, 教授 (80324490)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
若宮 幸平 九州大学, 芸術工学研究院, 助教 (70294999)
牧野 武彦 中央大学, 経済学部, 教授 (00269482) [Withdrawn]
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | 調音運動 / 音声合成 / EMA / rtMRI |
|---|
| Outline of Annual Research Achievements |
本研究では，調音運動データを中間情報とするマルチモーダル音声合成システムの構築を目標に，①EMAデータベースの構築，②EMAデータからの音声合成法の検討，③言語からのEMAデータおよびrtMRIデータの生成，④マルチモーダル音声合成器としての統合を目指している．このうち2023年度には①のEMAデータベースの構築について，話者1名のEMAデータの収録を行い，データベース拡充を行った．また③について，言語からIPA(International Phonetic Alphabet)を通して調音運動データを生成する仕組みを検討した．さらに，④の構成要素となるrtMRIデータからの音声合成法について，rtMRIデータから音響特徴量を生成する手法及びrtMRIデータから音声を直接合成する手法をそれぞれ検討した．
これらの成果のうち，③および④については日本音響学会秋季研究発表会，InterSpeech2023，および電子情報通信学会論文誌Dにおいてそれぞれ報告を行っている．
[1] 大谷 祐人，澤田 隼，大村 英史，桂田 浩一：“MRI正中矢状断面画像からのF0推定の可能性について”，日本音響学会2023年春季研究発表会，2-9-13 (2023-9)．
[2] 丸山 虹樹，澤田 隼，大村 英史，桂田 浩一：“1次元畳み込みニューラルネットワークを用いたIPAからの調音運動データ生成”，日本音響学会2023年春季研究発表会，3-Q-38 (2023-9)．
[3] Yuto Otani, Shun Sawada, Hidefumi Ohmura, Kouichi Katsurada, "Speech Synthesis from Articulatory Movements Recorded by Real-time MRI", In Proc. InterSpeech2023, pp.127-131 (2023-8).
[4] 丹治 涼，大村 英史，澤田 隼，桂田 浩一：“RtMRIからの調音-音響変換における転置畳み込みニューラルネットワークの利用”，電子情報通信学会論文誌D，Vol.J106-D，No.10，pp.470-479 (2023-10)．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
5年間の研究機関のうち2年が終了し，①のEMAデータのデータベース化については概ね人数分の収録を終えることができた．②～④についても順調に成果が出ており，特に④の構成要素の一部となるrtMRIからの音声合成についてはトップカンファレンスでの発表および学術論文での成果発表を行っている．以上より，本プロジェクトはおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
2024年度は①についてはこれまでに収録したEMAデータを精査し，データベースに格納可能なデータを厳選する予定である．その後，データベースに格納するデータについて，同時収録した音声に対するIPAのラベリングを行う予定である．2024年度中にデータベースのフォーマット等を決定した後に今年度，もしくは来年度での公開を目指す．②～④については，引き続き検討を行い，日本音響学会研究発表会，InterSpeech，ICASSP，日本音響学会論文誌での成果報告を行う予定である．
|
| Causes of Carryover |
2023年度に行った研究内容の一部については，他の資金の活用によって実施したため，次年度使用額が生じた．次年度使用分については，主に近年高騰している海外出張旅費等に充てる予定である．
|
