能動的知覚モデルに基づく歌唱レンダリングシステム作成に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380165
• Research Institution: Wakayama University
• Principal Investigator: 河原 英紀 和歌山大学, システム工学部, 教授 (40294300)
• Co-Investigator(Kenkyū-buntansha): 西浦 敬信 和歌山大学, システム工学部, 助手 (70343275) ; 片寄 晴弘 関西学院大学, 理工学部, 教授 (70294303)
• Keywords: 音声分析 / 音声合成 / モーフィング / 基本周波数 / 放射特性 / 韻律情報 / 聴覚フィードバック / 音声の動特性

Research Abstract

本年度は、歌唱レンダリングに必要な要素技術の開発を進めた。まず、実際に発声している音声を用いて歌唱者からの音の伝播特性を測定する手法を開発し、母音により放射特性が異なることを明らかにした。また、歌唱レンダリングに必要となる、歌唱スタイル間の音声のモーフィング技術を開発し、歌唱と同様に韻律が重要な役割を果たす感情音声のモーフィングに適用した。その結果、自然性において実音声に遜色の無いモーフィングが可能であることが実証された。これは、本計画の中核的戦略である組織的ダウングレーディングを遂行する基盤が確立したことを意味する。しかし、本モーフィング手法を歌唱に適用したところ、繊細な声質やビブラートが不自然に変換されることが示されたため、年度後半においては、これらの自然な変換に必要となる手法の検討を進めた。この検討では、素材として、産総研が中心となったRWCPで作成された音楽データベースの中の歌唱音声素材を利用して、ビブラートを自然性を保存したまま自由に増減できる方法の検討を進めた。本検討には良好な結果が出つつあるので、最終年度の前半に完成を目指す。また、声質については、様々な音声コーディング手法を、音源情報の表現に注目することによって、STRAIGHTを中心として連続的に相互変換する技術を開発し、根本的な検討が可能な基盤を整備した。その他、実際の歌唱中の聴覚フィードバックの操作により、人間の基本周波数軌跡の制御モデルの開発を進めるとともに、並行して前記のRWCPデータベース素材をモーフィングを利用して編集する際の音色制御の検討を進めた。これらについては、適宜、国内や国外の会議で発表するとともに、論文化を進めた。

Research Products

• [Publications] 貫名真澄, 河原英紀: "発話時の頭部周辺での音声の伝達特性について"日本音響学会誌. Vol.59,No.5. 256-260 (2003)
• [Publications] Hisami Matsui, Hideki Kawahara: "Investigation of Emotionally Morphed Speech Perception and its Structure Using a High Quality Speech Manipulation System Prod"Eurospeech'03. 2113-2116 (2003)
• [Publications] Hideki Kawahara: "Exemplar-based Voice Quality Analysis and Control using a High Quality Auditory Morphing Procedure based on STRAIGHT"VOQUAL'03, ISCA Tutorial and Research Workshop. 109-114 (2003)
• [Publications] Hideki Kawahara, Hisami Matsui: "AUDITORY MORPHING BASED ON AN ELASTIC PERCEPTUAL DISTANCE METRIC IN AN INTERFERENCE-FREE TIME-FREQUENCY REPRESENTATION"ICASSP'2003. 6-10 (2003)
• [Publications] Ryuichirou Yanaga, Hideki Kawahara: "Logarithmic temporal axis manipulation and its application for measuring auditory contributions in FO control using a transformed auditory feedback procedure"J.Acoust.Soc.Am.. 114. 2458-2458 (2003)
• [Publications] Hideki Kawahara, Hideki Banno, Toshio Irino, Parham Zolfaghari: "ALGORITHM AMALGAM : MORPHING WAVEFORM BASED METHODS, SINUISOIDAL MODELS AND STRAIGHT"Proc.ICASSP'2004. (採録決定). (2004)