| 研究概要 |
通常のマイクロフォンが音声入力,音声信号出力であるのに対し,本研究ではCCDカメラによる口唇および舌の画像情報入力,音声信号出力のマイクロフォンシステムの構築に目的があった.本システムは,大きな環境雑音下の音声も画像入力という本質的に異なった媒体により大雑音の分離が可能となるほか,実際の発声をしなくても音声信号が送れるという本質的な秘話機能や声帯に障害を持つ人の発声代替機能も持つ.昨年度までに本報告者が考案した2種のアナログ型構成法,すなわち,(1)直接法(口唇および舌の画像情報をニューラルネットを介し直接音声スペクトルに写像する方法)と(2)伝達関数法(口及び舌の画像情報から声道の伝達関数を求め適当な音源と伝達関数から音声の合成を行う方法)の中でも,後者を中心に基礎システムの構築と実験を行った.
これまでに得た結果をまとめる.まず,動画像から音声への変換を日本語5母音を基にシステムを構成した.昨年の疑似動画像から本年度は真の動画像を処理するシステムとした.具体的には伝達関数と対応する声道断面積関数を通し,画像情報からの音声信号化システムを構成した.日本語5母音を基に構成したシステムであるが,英語の3母音も合成可能であることが分かった.次に,発声不能者の発声代替システムとしての可能性を検討するため,聴取者の慣れによる聴取力向上の実験を行った.次ページの文献欄の文献にも示されるようにテストを繰り返す度に認識率(聴取率)は向上し,5日間で69%から90%にまでなった.正解は聴取者に提示されていないので,純粋な慣れによる聴取力の向上と考えられ,発声代替システムの可能性が示された.最後に,子音への適用のための拡張をはかり,子音の内有声破裂音についての検討を行った.音声の品質には向上の余地があった.以上より,子音処理の改善の後にCCDカメラマイクロフォンの実現の可能性が十分あることが分かった.
|
