• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of speech recognition interface using lip reading for hearing-impaired person' s communication support

Research Project

Project/Area Number 21700582
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Rehabilitation science/Welfare engineering
Research InstitutionKyushu Institute of Technology (2010-2011)
Tottori University (2009)

Principal Investigator

SAITOH Takeshi  九州工業大学, 大学院・情報工学研究院, 准教授 (10379654)

Project Period (FY) 2009 – 2011
Project Status Completed (Fiscal Year 2011)
Budget Amount *help
¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2011: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2010: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2009: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Keywords読唇 / コミュニケーション支援 / 聴覚障害者 / 読唇システム / インタフェース
Research Abstract

This research developed a prototype system which is not only lip reading in real time, but useful for communication support, for hearing-impaired person. We carried out the recognition experiments to 50 Japanese conversation phrases with four subjects during more than five weeks. As the result, we obtained 94% of the average recognition rate, and we indicated the high practicality of the development system.

Report

(4 results)
  • 2011 Annual Research Report   Final Research Report ( PDF )
  • 2010 Annual Research Report
  • 2009 Annual Research Report
  • Research Products

    (31 results)

All 2012 2011 2010 2009

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (26 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] Real-time word lip reading system based on trajectory feature2011

    • Author(s)
      Takeshi Saitoh、Ryosuke Konishi
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: Vol.6 Pages: 289-291

    • NAID

      10028226766

    • Related Report
      2011 Annual Research Report 2011 Final Research Report
    • Peer Reviewed
  • [Journal Article] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2011

    • Author(s)
      齊藤剛史、森下和敏、小西亮介
    • Journal Title

      電気学会論文誌

      Volume: 131巻 Pages: 418-424

    • NAID

      10027804091

    • Related Report
      2011 Final Research Report
    • Peer Reviewed
  • [Journal Article] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2011

    • Author(s)
      齊藤剛史, 森下和敏, 小西亮介
    • Journal Title

      電気学会論文誌

      Volume: 131 Pages: 418-424

    • NAID

      10027804091

    • Related Report
      2010 Annual Research Report
    • Peer Reviewed
  • [Presentation] 読唇に有効な顔モデルの検討2012

    • Author(s)
      齊藤剛史、韓リャン
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      神戸大学(兵庫)
    • Related Report
      2011 Final Research Report
  • [Presentation] 読唇に有効な顔モデルの検討2012

    • Author(s)
      齊藤剛史
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      神戸大学(兵庫県)
    • Related Report
      2011 Annual Research Report
  • [Presentation] Real-time Lip Reading System for Fixed Phrase and Its Combination2011

    • Author(s)
      Takeshi Saitoh
    • Organizer
      1st Asian Conference on Pattern Recognition
    • Place of Presentation
      JINGYI HOTEL(中国)
    • Related Report
      2011 Final Research Report
  • [Presentation] 発話障害者のための読唇技術を利用したコミュニケーション支援システム2011

    • Author(s)
      齊藤剛史
    • Organizer
      ヒューマンインタフェースシンポジウム2011
    • Place of Presentation
      仙台国際センター(宮城)
    • Related Report
      2011 Final Research Report
  • [Presentation] Development of Communication Support System using Lip Reading2011

    • Author(s)
      Takeshi Saitoh
    • Organizer
      10th International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      SIAF(イタリア)
    • Related Report
      2011 Final Research Report
  • [Presentation] 読唇のための線形回帰による視点変換2011

    • Author(s)
      齊藤剛史
    • Organizer
      第14回画像の認識・理解シンポジウム
    • Place of Presentation
      金沢市文化ホール(石川)
    • Related Report
      2011 Final Research Report
  • [Presentation] 読唇のための線形回帰による視点変換2011

    • Author(s)
      齊藤剛史
    • Organizer
      第14回画像の認識・理解シンポジウム
    • Place of Presentation
      金沢市文化ホール(石川県)
    • Related Report
      2011 Annual Research Report
  • [Presentation] Development of Communication Support System using Lip Reading2011

    • Author(s)
      Takeshi Saitoh
    • Organizer
      10th International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      SIAF (Italy)
    • Related Report
      2011 Annual Research Report
  • [Presentation] 発話障害者のための読唇技術を利用したコミュニケーション支援システム2011

    • Author(s)
      齊藤剛史
    • Organizer
      ヒューマンインタフェースシンポジウム2011
    • Place of Presentation
      仙台国際センター(宮城県)
    • Related Report
      2011 Annual Research Report
  • [Presentation] Real-time Lip Reading System for Fixed Phrase and Its Combination2011

    • Author(s)
      Takeshi Saitoh
    • Organizer
      1st Asian Conference on Pattern Recognition
    • Place of Presentation
      JINGYI HOTEL (China)
    • Related Report
      2011 Annual Research Report
  • [Presentation] 口形認識に有効な視点の検討2010

    • Author(s)
      齊藤剛史、山下晃平、小西亮介
    • Organizer
      第15回パターン計測シンポジウム
    • Place of Presentation
      デュープレックスセミナーホテル(茨木)
    • Related Report
      2011 Final Research Report
  • [Presentation] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識2010

    • Author(s)
      齊藤剛史、内田克彦、小西亮介
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      幕張メッセ(千葉)
    • Related Report
      2011 Final Research Report
  • [Presentation] A study of influence of word lip reading by change of frame rate2010

    • Author(s)
      Takeshi Saitoh、Ryosuke Konishi
    • Organizer
      9th International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      プリンス箱根(神奈川)
    • Related Report
      2011 Final Research Report
  • [Presentation] Profile Lip Reading for Vowel and Word Recognition2010

    • Author(s)
      Takeshi Saitoh、Ryosuke Konishi
    • Organizer
      20th International Conference on Pattern Recognition
    • Place of Presentation
      ICEC(トルコ)
    • Related Report
      2011 Final Research Report
  • [Presentation] フレームレート変化による単語読唇の影響に関する考察2010

    • Author(s)
      齊藤剛史、小西亮介
    • Organizer
      第13回画像の認識・理解シンポジウム
    • Place of Presentation
      釧路市観光国際交流センター(北海道)
    • Related Report
      2011 Final Research Report
  • [Presentation] トラジェクトリ特徴量を利用した単語読唇に関する基礎検討2010

    • Author(s)
      齊藤剛史、石倉寛之、山下晃平、小西亮介
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      鹿児島大学(鹿児島)
    • Related Report
      2011 Final Research Report
  • [Presentation] Word Lip Reading in Various Tones2010

    • Author(s)
      Takeshi Saitoh、Hiroyuki Ishikura、Ryosuke Konishi
    • Organizer
      16th Korea-Japan Joint Workshop on Frontiers of Computer Vision
    • Place of Presentation
      安芸グランドホテル(広島)
    • Related Report
      2011 Final Research Report
  • [Presentation] フレームレート変化による単語読唇の影響に関する考察2010

    • Author(s)
      齊藤剛史
    • Organizer
      第13回 画像の認識・理解シンポジウム
    • Place of Presentation
      釧路市観光国際交流センター(北海道)
    • Related Report
      2010 Annual Research Report
  • [Presentation] Profile Lip Reading for Vowel and Word Recognition2010

    • Author(s)
      Takeshi Saitoh
    • Organizer
      20^<th> International Conference on Pattern Recognition
    • Place of Presentation
      Istanbul Convention & Exhibition Centre (トルコ)
    • Related Report
      2010 Annual Research Report
  • [Presentation] A study of influence of word lip reading by change of frame rate2010

    • Author(s)
      Takeshi Saitoh
    • Organizer
      9^<th> International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      プリンス箱根(神奈川県)
    • Related Report
      2010 Annual Research Report
  • [Presentation] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識2010

    • Author(s)
      齊藤剛史
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      幕張メッセ(千葉県)
    • Related Report
      2010 Annual Research Report
  • [Presentation] 口形認識に有効な視点の検討2010

    • Author(s)
      齊藤剛史
    • Organizer
      第15回 パターン計測シンポジウム
    • Place of Presentation
      デュープレックスセミナーホテル(茨木県)
    • Related Report
      2010 Annual Research Report
  • [Presentation] Word Lip Reading in Various Tones2010

    • Author(s)
      Takeshi Saitoh
    • Organizer
      16th Korea-Japan Joint Workshop on Frontiers of Computer Vision
    • Place of Presentation
      安芸グランドホテル(広島県)
    • Related Report
      2009 Annual Research Report
  • [Presentation] トラジェクトリ特徴量を利用した単語読唇に関する基礎検討2010

    • Author(s)
      齊藤剛史
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      鹿児島大学(鹿児島県)
    • Related Report
      2009 Annual Research Report
  • [Presentation] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2009

    • Author(s)
      森下和敏、齊藤剛史、小西亮介
    • Organizer
      第12回画像の認識・理解シンポジウム
    • Place of Presentation
      くにびきメッセ(島根)
    • Related Report
      2011 Final Research Report
  • [Presentation] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2009

    • Author(s)
      森下和敏
    • Organizer
      第11回 画像の認識・理解シンポジウム
    • Place of Presentation
      くにびきメッセ(島根県)
    • Related Report
      2009 Annual Research Report
  • [Patent(Industrial Property Rights)] コミュニケーション支援システム2011

    • Inventor(s)
      齊藤剛史
    • Industrial Property Rights Holder
      齊藤剛史
    • Industrial Property Number
      2011-182594
    • Filing Date
      2011-08-24
    • Related Report
      2011 Annual Research Report 2011 Final Research Report
  • [Patent(Industrial Property Rights)] ワードスポッティング読唇及び方法2010

    • Inventor(s)
      齊藤剛史
    • Industrial Property Rights Holder
      齊藤剛史
    • Industrial Property Number
      2010-201629
    • Filing Date
      2010-09-09
    • Related Report
      2011 Final Research Report 2010 Annual Research Report

URL: 

Published: 2009-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi