日本語音声発話における動的口形素の作成に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14580431
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 平山 亮 金沢工業大学, 工学部, 助教授 (70329374)
• Keywords: 日本語 / viseme / 口形素 / アニメーション / 発話運動 / マルチメディアデータベース / 口唇 / MPEG-4

Research Abstract

前年度に引き続き、日本語音韻に対応した正確な口唇アニメーションを行うことを目的とし、その音韻に対応した口唇の動きをデータベース化するため、日本語短文を発話している被験者の口唇周辺の運動を高速ビデオカメラで記録し、同時に音声を録音する実験を行った。この300コマ/秒の計測実験データ観察により、比企らの口形素モデル(1982)との対応を確認した。これらの結果を国際会議で発表した。その際、アメリカ及びフランスの口形素の研究グループから実験方法に関する有益な示唆をいくつか受けたので、年度後半には、それらの意見を取り入れた実験設定を追加して計測を繰り返しおこなっている。特に、フランスの口形素の研究グループは、口唇に着色をして口唇形状のモデル化を容易にする計測を行っているので、それと同等の実験設定を追加して、データ計測を行っている。又、撮影画像の位置や明るさの補正などのデータ正規化作業を行っている。現在は、まだデータベースとして公開していないが、最終的には公開を想定している。Viseme(口形素)及びその動的変化のモデリングに関しては、マルチメディア通信の重要性に鑑み、MPEG-4 face animation parametersと親和性を持たせる形での形状抽出及び運動抽出を検討し、それを評価できるようにコンピュータグラフィクス関連の環境を整備中である。次年度(最終年度)はさらに口唇運動計測を進めるとともに、データの編集整理を行うことと、日本語口形素について検討し、それを用いたコンピュータグラフィクスアニメーションを行う予定である。

Research Products

• [Publications] Makoto J.Hirayama: "Making of a Japanese Viseme Video Database by Multiple High-speed Video Observations"15th International Congress of Phonetic Sciences. 3157-3160 (2003)
• [Publications] 平山 亮: "音声発話時の口唇周辺高速動画データベース"情報科学フォーラム(FIT)2003. 257-258 (2003)