読唇者モデルをベースとした日本語機械読唇システムに関する研究

2013 年度 研究成果報告書

• 研究課題/領域番号: 23700672
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: リハビリテーション科学・福祉工学
• 研究機関: 神奈川工科大学
• 研究代表者: 宮崎 剛 神奈川工科大学, 情報学部, 准教授 (20329634)
• 連携研究者: 中島 豊四郎 椙山女学園大学, 文化情報学部・文化情報学科, 教授 (90247601)
• 研究期間 (年度): 2011 – 2013
• キーワード: 機械読唇 / 障害者支援 / 画像処理 / 画像認識 / パターン認識

研究概要

本研究期間内では，発話映像における口形検出率の向上と発話単語の認識を実施した．口形検出率では90%以上を目標としていたが，テンプレートマッチングとオプティカルフローを併用することで，最終的には82.7%となった．これは本研究課題開始時より8.6%検出率が向上した．発話単語の認識では，発話単語の長さを考慮した信頼度の計算手法を提案し，47都道府県の認識実験で36都道府県の認識に成功した．単語認識率は約76.6%となった．今後は，口形形成期間の切り出し精度を向上させる方法を検討していく．

研究成果

• [雑誌論文] Mouth Shape Detection Based on Template Matching and Optical Flow for Machine Lip Reading (2013)
  • 著者名/発表者名: Tsuyoshi Miyazaki, Toyoshiro Nakashima, Naohiro Ishii
  • 雑誌名: International Journal of Software Innovation 巻: Vol.1, No.1 ページ: 14-25
  • 査読あり
• [学会発表] Analysis of Mouth Shape Deformation Rate for Generation of Japanese Utterance Images Automatically (2014)
  • 著者名/発表者名: Tsuyoshi Miyazaki and Toyoshiro Nakashima
  • 学会等名: International Conference on Software Engineering Research, Management and Applications (SERA 2014) (掲載決定, 頁未定)
  • 年月日: 20140000
• [学会発表] 口形ベースの機械読唇における単語認識手法の提案と評価 (2014)
  • 著者名/発表者名: 宮崎剛, 中島豊四郎
  • 学会等名: マルチメディア,分散,協調とモバイル(DICOMO2014)シンポジウム, 896-902
  • 年月日: 20140000
• [学会発表] A Detection Method of Basic Mouth Shapes from Japanese Utterance Images by Template Matching and Optical Flow (2012)
  • 著者名/発表者名: Tsuyoshi Miyazaki, Toyoshiro Nakashima and Naohiro Ishii
  • 学会等名: 13th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing, SNPD 2012, SCI 443, 83-94
  • 年月日: 20120000
• [学会発表] Producing text and speech from video images of lips movement photographed in speaking Japanese by using mouth shape sequence code -An experimental system to communicate with hearing impaired persons - (2012)
  • 著者名/発表者名: Shiori Kawahata, Eiko Koyama, Tsuyoshi Miyazaki and Fujio Yamamoto
  • 学会等名: The Seventeenth International Symposium on Artificial Life and Robotics 2012 (AROB 17th '12), 867-870
  • 年月日: 20120000