口唇運動を併用した音声認識に関する研究

Research Project

Project/Area Number	62608507
Research Category	Grant-in-Aid for Scientific Research on Priority Areas
Allocation Type	Single-year Grants
Research Institution	Kumamoto University
Principal Investigator	園田頼信熊本大学, 工学部, 教授 (70037836)
Co-Investigator(Kenkyū-buntansha)	森啓祐熊本大学, 工学部, 助手 (10200362) 中村良三熊本大学, 工学部, 助教授 (50094024)
Project Period (FY)	1987
Project Status	Completed (Fiscal Year 1987)
Budget Amount *help	¥1,000,000 (Direct Cost: ¥1,000,000) Fiscal Year 1987: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywords	音声生成 / 口唇運動 / 読唇 / 音声認識
Research Abstract	総合的な調音運動の観測システムを実現するために, 本年度は主に口唇の調音運動に注目し, 口唇運動の観測装置とその解析システムの構築を行った. 口唇運動の解析処理には, CCDビデオカメラと映像を取り込むための12画面を有するイメージボードから構成されるパソコンより画像処理システムを作成した. VTR録画を用いる場合には, 特定のフィールドを指定する必要がある. 本研究では録画する際にスーパーインポーズ処理を行い, フィールド番号を記録しておく. この方法により再生時に任意のフィールドを検出し, 連続して12コマ分の画像を確実に取り出している. このシステムで収集した口唇運動のデータは, 画像処理を施して開口面積と上・下唇の距離間隔を対応づけて時間経過波形として解析表示することができるようになっている. 次年度は種々の音形を発話した時の口唇運動の特徴を, ここで開発したシステムを用いて処理し, 音形の影響および個人差について検討したい. さらに舌や下顎の運動計測のための観測システムについても検討したい.