人に優しいヒューマンインタフェースのためのメディア変換技術

1992 Fiscal Year Annual Research Report

• Project/Area Number: 04650295
• Research Institution: Seikei University
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Keywords: 知的インタフェース / メディア変換 / 表情合成 / コンピュータグラフィックス / 音声と画像の同期

Research Abstract

表情豊かにメッセージを読み上げるユーザフレンドリーな計算機利用環境を実現することを目的に研究を進めている。今年度はテキスト記述された日本語文章を画面上の顔画像が表情豊かに読み上げるシステムの構築を行なった。具体的には入力された日本語の自然音声の分析により各音韻の継続長を自動検出するアルゴリズムを開発し、合成した動画像と自然音声との完全な同期出力が可能となった。まず、入力された音声に対して隣接する分析フレーム間の対数パワー変化とスペクトル変化に着目して、セグメント境界の候補となりうる位置を全て網羅するように探索が行なわれる。次に分割された区間毎に、予め学習データから作成されている母音テンプレートとの照合を行い音韻候補を決定する。ここでは5母音と撥音、無音、子音の区別を行なっている。この後、同一の音韻が連続した場合には一つにまとめる操作等が行なわれ、音韻候補とその区間情報を得る。ここで予め入力してあるテキスト情報に含まれる母音系列情報との最適パス探索による時間軸整合を行ない、テキストと認識された母音候補との時間的な対応づけを行なう。この各音韻間歪みも予め学習データを基に作成されている。これらの処理によりボトムアップ母音認識結果に含まれる認識誤りの訂正が可能となり、さらにテキストを参照することにより各母音の前に位置している子音の情報も得ることができる。子音区間は標準的な継続長を割り当てて、テキストに含まれる全ての音韻の音声信号中における時間的な位置が決定される。これに基づいて口形のキーフレームを割り当てることにより、音声と口の動きとの同期が実現される。いくつかのある程度長い連続音声信号に対し、この方式を適用したところ特定話者に対して安定に各音韻区間の抽出が実現でき、動画像合結果との同期表示実験でも自然な人物の会話シーンを合成できることが確認された。

Research Products

• [Publications] Shigeo Morishima 他: "Face animation scenario making system for model based image synthesis" Proceedings of Picture Coding Symposium '93. 13.19- (1993)
• [Publications] E.Ono,S.Morishima 他: "A model based shade estimation and reproduction schemes for rotational face" Proceedings of Picture Coding Symposium '93. 2.2- (1993)
• [Publications] 上木 伸夫,森島 繁生 他: "ニューラルネットの恒等写像学習による感情空間の構成" 電子情報通信学会技術研究報告書. HC92-60. 17-22 (1993)
• [Publications] 小野 英太,森島 繁生 他: "照明環境を保存する分析合成符号化の一検討" 電子情報通信学科技術研究報告. HC92-62. 29-34 (1993)
• [Publications] Shigeo Morishima 他: "A Facial Image Synthesis System for Human-Machine Interface" IEEE Robot and Human Communication (ROMAN'92). 363-368 (1992)
• [Publications] Shigeo Morishima 他: "Human Machine Interface Using Media Conversion and Model-Based Coding Schemes" Proceedings of CGI '92. 95-105 (1992)
• [Publications] Shigeo Morishima 他多数: "Visual Computing,CG Internatioal Serie s" Springer-Verlag, 963 (1992)