• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2010 Fiscal Year Annual Research Report

聴覚障害者のコミュニケーション支援のための読唇による会話認識インタフェースの開発

Research Project

Project/Area Number 21700582
Research InstitutionKyushu Institute of Technology

Principal Investigator

齊藤 剛史  九州工業大学, 大学院・情報工学研究院, 准教授 (10379654)

Keywords読唇システム / コミュニケーション支援 / 聴覚障害者
Research Abstract

本研究課題では,機械読唇を利用した聴覚障害者のコミュニケーション支援を目的として,単音や単語だけでなく会話文をリアルタイムで認識するインタフェースの開発を目指す.本研究2年度の平成22年度は以下のことに取り組んだ.
1)研究実施計画に基づき,文章発話シーンとして5人より新聞記事29文の発話シーンを撮影した.
2)研究実施計画に基づき,文章発話シーンに対して連続DPマッチングを用いたスポッティング認識を適用した.新聞記事29文の中から出現頻度の高い16語を認識対象に設定した.5人の発話シーンに対して実験を行った結果,平均認識率は46%であった.文章発話シーンは単語発話シーンに比べると口の開閉が小さい.そこで認識率が低い原因を解明するため,認識対象16語に対して単語認識を行った.その結果85%の認識率を得た.この結果より,口の開閉でなく,スポッティング認識の手法に問題があることが判明した.
3)2の問題を踏まえ文章認識でなく単語認識を利用したコミュニケーション支援システムの開発を目的とし,リアルタイム単語認識システムの開発に取り組んだ,以前のシステムは顔の下半分の画像を用いていたた,め,利用する際,発話者に負担を強いていた.そこで昨年度の提案した手法を組み込んだ,会話文50文を認識対象とし,1回の施行につき全50文を1回ずつ発話する認識実験を5回試行した.その結果,50文で平均認識率は80.6%,平均処理時間は15.4fps,発話終了後から認識結果を表示する前での平均時間は83.6秒であった.リアルタイム性を確認した.
4)研究成果は学術論文1件,国際会議2件,国内学会3件で発表した.

  • Research Products

    (7 results)

All 2011 2010

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (5 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇2011

    • Author(s)
      齊藤剛史, 森下和敏, 小西亮介
    • Journal Title

      電気学会論文誌

      Volume: 131 Pages: 418-424

    • Peer Reviewed
  • [Presentation] 口形認識に有効な視点の検討2010

    • Author(s)
      齊藤剛史
    • Organizer
      第15回 パターン計測シンポジウム
    • Place of Presentation
      デュープレックスセミナーホテル(茨木県)
    • Year and Date
      20101203-20101204
  • [Presentation] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識2010

    • Author(s)
      齊藤剛史
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Place of Presentation
      幕張メッセ(千葉県)
    • Year and Date
      20101008-20101009
  • [Presentation] A study of influence of word lip reading by change of frame rate2010

    • Author(s)
      Takeshi Saitoh
    • Organizer
      9^<th> International Conference on Auditory-Visual Speech Processing
    • Place of Presentation
      プリンス箱根(神奈川県)
    • Year and Date
      20100930-20101003
  • [Presentation] Profile Lip Reading for Vowel and Word Recognition2010

    • Author(s)
      Takeshi Saitoh
    • Organizer
      20^<th> International Conference on Pattern Recognition
    • Place of Presentation
      Istanbul Convention & Exhibition Centre (トルコ)
    • Year and Date
      20100823-20100826
  • [Presentation] フレームレート変化による単語読唇の影響に関する考察2010

    • Author(s)
      齊藤剛史
    • Organizer
      第13回 画像の認識・理解シンポジウム
    • Place of Presentation
      釧路市観光国際交流センター(北海道)
    • Year and Date
      20100727-20100729
  • [Patent(Industrial Property Rights)] ワードスポッティング読唇及び方法2010

    • Inventor(s)
      齊藤剛史
    • Industrial Property Rights Holder
      齊藤剛史
    • Industrial Property Number
      特許、特願2010-201629
    • Filing Date
      2010-09-09

URL: 

Published: 2012-07-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi