• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

読唇者モデルをベースとした日本語機械読唇システムに関する研究

研究課題

研究課題/領域番号 23700672
研究種目

若手研究(B)

配分区分基金
研究分野 リハビリテーション科学・福祉工学
研究機関神奈川工科大学

研究代表者

宮崎 剛  神奈川工科大学, 情報学部, 准教授 (20329634)

連携研究者 中島 豊四郎  椙山女学園大学, 文化情報学部・文化情報学科, 教授 (90247601)
研究期間 (年度) 2011 – 2013
研究課題ステータス 完了 (2013年度)
配分額 *注記
2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2013年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2012年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2011年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード機械読唇 / 障害者支援 / 画像処理 / 画像認識 / パターン認識 / 聴覚障害者支援 / 発話映像 / 口形画像 / 口形検出 / 動画像認識 / 聴覚障がい者支援
研究概要

本研究期間内では,発話映像における口形検出率の向上と発話単語の認識を実施した.口形検出率では90%以上を目標としていたが,テンプレートマッチングとオプティカルフローを併用することで,最終的には82.7%となった.これは本研究課題開始時より8.6%検出率が向上した.発話単語の認識では,発話単語の長さを考慮した信頼度の計算手法を提案し,47都道府県の認識実験で36都道府県の認識に成功した.単語認識率は約76.6%となった.今後は,口形形成期間の切り出し精度を向上させる方法を検討していく.

報告書

(4件)
  • 2013 実績報告書   研究成果報告書 ( PDF )
  • 2012 実施状況報告書
  • 2011 実施状況報告書
  • 研究成果

    (9件)

すべて 2014 2013 2012

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (8件)

  • [雑誌論文] Mouth Shape Detection Based on Template Matching and Optical Flow for Machine Lip Reading2013

    • 著者名/発表者名
      Tsuyoshi Miyazaki, Toyoshiro Nakashima, Naohiro Ishii
    • 雑誌名

      International Journal of Software Innovation

      巻: Vol.1, No.1 ページ: 14-25

    • 関連する報告書
      2013 研究成果報告書 2012 実施状況報告書
    • 査読あり
  • [学会発表] Analysis of Mouth Shape Deformation Rate for Generation of Japanese Utterance Images Automatically2014

    • 著者名/発表者名
      Tsuyoshi Miyazaki and Toyoshiro Nakashima
    • 学会等名
      International Conference on Software Engineering Research, Management and Applications (SERA 2014) (掲載決定, 頁未定)
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] 口形ベースの機械読唇における単語認識手法の提案と評価2014

    • 著者名/発表者名
      宮崎剛, 中島豊四郎
    • 学会等名
      マルチメディア,分散,協調とモバイル(DICOMO2014)シンポジウム, 896-902
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] 口形ベースの機械読唇における単語認識手法の提案と評価2014

    • 著者名/発表者名
      宮崎剛, 中島豊四郎
    • 学会等名
      マルチメディア,分散,協調とモバイル(DICOMO2014)シンポジウム
    • 発表場所
      新潟県月岡温泉 ホテル泉慶
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 日本語発話時の口形変化量の分析と発話映像自動生成への適用2013

    • 著者名/発表者名
      宮崎剛, 中島豊四郎
    • 学会等名
      マルチメディア,分散,協調とモバイル(DICOMO2013)シンポジウム
    • 発表場所
      十勝川温泉 ホテル大平原
    • 関連する報告書
      2013 実績報告書
  • [学会発表] A Detection Method of Basic Mouth Shapes from Japanese Utterance Images by Template Matching and Optical Flow2012

    • 著者名/発表者名
      Tsuyoshi Miyazaki, Toyoshiro Nakashima and Naohiro Ishii
    • 学会等名
      13th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing, SNPD 2012, SCI 443, 83-94
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] Producing text and speech from video images of lips movement photographed in speaking Japanese by using mouth shape sequence code -An experimental system to communicate with hearing impaired persons -2012

    • 著者名/発表者名
      Shiori Kawahata, Eiko Koyama, Tsuyoshi Miyazaki and Fujio Yamamoto
    • 学会等名
      The Seventeenth International Symposium on Artificial Life and Robotics 2012 (AROB 17th '12), 867-870
    • 関連する報告書
      2013 研究成果報告書
  • [学会発表] A Detection Method of Basic Mouth Shapes from Japanese Utterance Images by Template Matching and Optical Flow2012

    • 著者名/発表者名
      Tsuyoshi Miyazaki, Toyoshiro Nakashima and Naohiro Ishii
    • 学会等名
      13th ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/Distributed Computing, SNPD 2012, SCI 443
    • 発表場所
      京都府京都市 キャンパスプラザ京都
    • 関連する報告書
      2012 実施状況報告書
  • [学会発表] Producing text and speech from video images of lips movement photographed in speaking Japanese by using mouth shape sequence code - An experimental system to communicate with hearing impaired persons -2012

    • 著者名/発表者名
      Shiori Kawahata, Eiko Koyama, Tsuyoshi Miyazaki and Fujio Yamamoto
    • 学会等名
      The Seventeenth International Symposium on Artificial Life and Robotics 2012 (AROB 17th '12)
    • 発表場所
      大分県別府市 別府国際コンベンションセンター
    • 関連する報告書
      2011 実施状況報告書

URL: 

公開日: 2011-08-05   更新日: 2019-07-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi