• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2011 Fiscal Year Final Research Report

Development of speech recognition interface using lip reading for hearing-impaired person' s communication support

Research Project

  • PDF
Project/Area Number 21700582
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Rehabilitation science/Welfare engineering
Research InstitutionKyushu Institute of Technology (2010-2011)
Tottori University (2009)

Principal Investigator

SAITOH Takeshi  九州工業大学, 大学院・情報工学研究院, 准教授 (10379654)

Project Period (FY) 2009 – 2011
Keywords読唇 / コミュニケーション支援 / 聴覚障害者
Research Abstract

This research developed a prototype system which is not only lip reading in real time, but useful for communication support, for hearing-impaired person. We carried out the recognition experiments to 50 Japanese conversation phrases with four subjects during more than five weeks. As the result, we obtained 94% of the average recognition rate, and we indicated the high practicality of the development system.

  • Research Products

    (17 results)

All 2012 2011 2010 2009

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (13 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] Real-time word lip reading system based on trajectory feature2011

    • Author(s)
      Takeshi Saitoh、Ryosuke Konishi
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: Vol.6 Pages: 289-291

    • Peer Reviewed
  • [Journal Article] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2011

    • Author(s)
      齊藤剛史、森下和敏、小西亮介
    • Journal Title

      電気学会論文誌

      Volume: 131巻 Pages: 418-424

    • Peer Reviewed
  • [Presentation] 読唇に有効な顔モデルの検討2012

    • Author(s)
      齊藤剛史、韓リャン
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      神戸大学(兵庫)
    • Year and Date
      20120329-30
  • [Presentation] Real-time Lip Reading System for Fixed Phrase and Its Combination2011

    • Author(s)
      Takeshi Saitoh
    • Organizer
      1st Asian Conference on Pattern Recognition
    • Place of Presentation
      JINGYI HOTEL(中国)
    • Year and Date
      20111128-30
  • [Presentation] 発話障害者のための読唇技術を利用したコミュニケーション支援システム2011

    • Author(s)
      齊藤剛史
    • Organizer
      ヒューマンインタフェースシンポジウム2011
    • Place of Presentation
      仙台国際センター(宮城)
    • Year and Date
      20110913-16
  • [Presentation] Development of Communication Support System using Lip Reading2011

    • Author(s)
      Takeshi Saitoh
    • Organizer
      10th International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      SIAF(イタリア)
    • Year and Date
      20110831-0903
  • [Presentation] 読唇のための線形回帰による視点変換2011

    • Author(s)
      齊藤剛史
    • Organizer
      第14回画像の認識・理解シンポジウム
    • Place of Presentation
      金沢市文化ホール(石川)
    • Year and Date
      20110720-22
  • [Presentation] 口形認識に有効な視点の検討2010

    • Author(s)
      齊藤剛史、山下晃平、小西亮介
    • Organizer
      第15回パターン計測シンポジウム
    • Place of Presentation
      デュープレックスセミナーホテル(茨木)
    • Year and Date
      20101203-04
  • [Presentation] A study of influence of word lip reading by change of frame rate2010

    • Author(s)
      Takeshi Saitoh、Ryosuke Konishi
    • Organizer
      9th International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      プリンス箱根(神奈川)
    • Year and Date
      20100930-1003
  • [Presentation] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識2010

    • Author(s)
      齊藤剛史、内田克彦、小西亮介
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      幕張メッセ(千葉)
    • Year and Date
      20100908-09
  • [Presentation] Profile Lip Reading for Vowel and Word Recognition2010

    • Author(s)
      Takeshi Saitoh、Ryosuke Konishi
    • Organizer
      20th International Conference on Pattern Recognition
    • Place of Presentation
      ICEC(トルコ)
    • Year and Date
      20100823-26
  • [Presentation] フレームレート変化による単語読唇の影響に関する考察2010

    • Author(s)
      齊藤剛史、小西亮介
    • Organizer
      第13回画像の認識・理解シンポジウム
    • Place of Presentation
      釧路市観光国際交流センター(北海道)
    • Year and Date
      20100727-29
  • [Presentation] トラジェクトリ特徴量を利用した単語読唇に関する基礎検討2010

    • Author(s)
      齊藤剛史、石倉寛之、山下晃平、小西亮介
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      鹿児島大学(鹿児島)
    • Year and Date
      20100315-16
  • [Presentation] Word Lip Reading in Various Tones2010

    • Author(s)
      Takeshi Saitoh、Hiroyuki Ishikura、Ryosuke Konishi
    • Organizer
      16th Korea-Japan Joint Workshop on Frontiers of Computer Vision
    • Place of Presentation
      安芸グランドホテル(広島)
    • Year and Date
      20100204-06
  • [Presentation] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2009

    • Author(s)
      森下和敏、齊藤剛史、小西亮介
    • Organizer
      第12回画像の認識・理解シンポジウム
    • Place of Presentation
      くにびきメッセ(島根)
    • Year and Date
      20090720-22
  • [Patent(Industrial Property Rights)] コミュニケーション支援システム2011

    • Inventor(s)
      齊藤剛史
    • Industrial Property Rights Holder
      齊藤剛史
    • Industrial Property Number
      特許、特願2011-182594
    • Filing Date
      2011-08-24
  • [Patent(Industrial Property Rights)] ワードスポッティング読唇及び方法2010

    • Inventor(s)
      齊藤剛史
    • Industrial Property Rights Holder
      齊藤剛史
    • Industrial Property Number
      特許、特願2010-201629
    • Filing Date
      2010-09-09

URL: 

Published: 2013-07-31  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi