• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Research on the non-uttering human interface between multiplelanguages using lips movements

Research Project

Project/Area Number 22500112
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeSingle-year Grants
Section一般
Research Field Media informatics/Database
Research InstitutionTokai University

Principal Investigator

YAMADA Mitsuho  東海大学, 情報通信学部情報メディア学科, 教授 (60366086)

Project Period (FY) 2010 – 2012
Project Status Completed (Fiscal Year 2012)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2012: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2011: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2010: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywordsヒューマンインターフェイス / 発話認識 / ヒューマンインタフェース / 口唇検出 / 口唇動作履歴 / パワースペクトル / 日本語母音認識 / 英語母音認識 / 音声認識 / 発話訓練
Research Abstract

We found robustness of word recognition by lip movement without audible utterance, not only between the words of different speakers but also between the utterances of the same speaker at different times or on different days. Furthermore, we showed the effectiveness of lip movement for the recognition of the railway station names. Moreover, no matter whether a native English speaker or Japanese person spoke, recognition of the same English word was possible. We also developed a system which can beautomatically performed, from acquisition of lip movements when uttering the word to recognition of the uttered word, and showed the feasibility of the non-uttering human interface in various languages.

Report

(4 results)
  • 2012 Annual Research Report   Final Research Report ( PDF )
  • 2011 Annual Research Report
  • 2010 Annual Research Report
  • Research Products

    (17 results)

All 2013 2012 2011 2010 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (16 results)

  • [Journal Article] 口唇特徴点動作のパワースペクトルの相関を用いた非発声の発話認識手法の可能性に対する検討2012

    • Author(s)
      齋藤 翼
    • Journal Title

      東海大学紀要情報通信学部

      Volume: 5 Pages: 36-44

    • Related Report
      2012 Annual Research Report
    • Peer Reviewed
  • [Presentation] 口唇動作による自動単語認識装置の開発2013

    • Author(s)
      若松英輝、菊地慧、新川達矢、大城政人、山田光穗
    • Organizer
      電子情報通信学会 2013 総合大会
    • Place of Presentation
      A-20
    • Related Report
      2012 Final Research Report
  • [Presentation] Utterance recognition using lip movements2013

    • Author(s)
      Eiki Wakamatsu, Kei Kikuchi, Tatsuya Shinkawa, Masato Ohshiro, Mitsuho Yamada
    • Organizer
      IWAIT 2013
    • Place of Presentation
      Nagoya
    • Related Report
      2012 Final Research Report
  • [Presentation] 口唇動作による発声認識システムの検討2012

    • Author(s)
      大城政人
    • Organizer
      電子情報通信学会2012総合大会
    • Place of Presentation
      岡山大学
    • Year and Date
      2012-03-23
    • Related Report
      2011 Annual Research Report
  • [Presentation] 口唇動作による駅名認識の有効性の検討2012

    • Author(s)
      大城政人、新川達矢、笠原篤之、尾上拓、山田光穗
    • Organizer
      ヒューマンインタフェースシンポジウム 2012
    • Related Report
      2012 Final Research Report
  • [Presentation] イギリス英語母音と日本語母音に対する口唇動作比較2011

    • Author(s)
      尾上拓
    • Organizer
      2011年電子情報通信学会基礎・境界ソサイエティ大会
    • Place of Presentation
      北海道大学
    • Year and Date
      2011-09-14
    • Related Report
      2011 Annual Research Report
  • [Presentation] 口唇動作を用いた発話認識の汎用性の検討~駅名認識への取り組み~2011

    • Author(s)
      笠原篤之
    • Organizer
      2011年電子情報通信学会基礎・境界ソサイエティ大会
    • Place of Presentation
      北海道大学
    • Year and Date
      2011-09-14
    • Related Report
      2011 Annual Research Report
  • [Presentation] 日本語母音発話時の口唇動作の3次元動作解析2011

    • Author(s)
      大城政人
    • Organizer
      2011年電子情報通信学会基礎・境界ソサイエティ大会
    • Place of Presentation
      北海道大学
    • Year and Date
      2011-09-14
    • Related Report
      2011 Annual Research Report
  • [Presentation] 口唇動作を用いた非発声による駅名入力の解析2011

    • Author(s)
      新川達矢
    • Organizer
      電子情報通信学会2011総合大会
    • Place of Presentation
      東京都市大学世田谷キャンパス
    • Year and Date
      2011-03-14
    • Related Report
      2010 Annual Research Report
  • [Presentation] 口唇動作の3次元解析の検討2011

    • Author(s)
      大城政人
    • Organizer
      電子情報通信学会2011総合大会
    • Place of Presentation
      東京都市大学世田谷キャンパス
    • Year and Date
      2011-03-14
    • Related Report
      2010 Annual Research Report
  • [Presentation] 口唇動作を用いた母音列認識における各特徴点相関の検討2010

    • Author(s)
      齋藤翼
    • Organizer
      ヒューマンインタフェースシンポジウム2010
    • Place of Presentation
      立命館大学草津キャンパス
    • Year and Date
      2010-09-09
    • Related Report
      2010 Annual Research Report
  • [Presentation] 発声時の口唇動作スペクトルによるイギリス英語母音認識法の提案2010

    • Author(s)
      尾上拓
    • Organizer
      ヒューマンインタフェースシンポジウム2010
    • Place of Presentation
      立命館大学草津キャンパス
    • Year and Date
      2010-09-09
    • Related Report
      2010 Annual Research Report
  • [Presentation] 口唇動作を用いた駅名認識インターフェースの提案2010

    • Author(s)
      笠原篤之
    • Organizer
      ヒューマンインタフェースシンポジウム2010
    • Place of Presentation
      立命館大学草津キャンパス
    • Year and Date
      2010-09-08
    • Related Report
      2010 Annual Research Report
  • [Presentation] 口唇動作による駅名認識の有効性の検討

    • Author(s)
      大城政人
    • Organizer
      ヒューマンインタフェースシンポジウム2012
    • Place of Presentation
      九州大学大橋キャンパス
    • Related Report
      2012 Annual Research Report
  • [Presentation] 口唇動作による母音認識のための口唇特徴点自動抽出装置の開発

    • Author(s)
      若松 英輝
    • Organizer
      ヒューマンインタフェースシンポジウム2012
    • Place of Presentation
      九州大学大橋キャンパス
    • Related Report
      2012 Annual Research Report
  • [Presentation] Utterance Recognition Using Lip Movements

    • Author(s)
      Eiki Wakamatsu
    • Organizer
      IWAIT(International Workshop on Advanced Image Technology) 2013
    • Place of Presentation
      名古屋大学豊田講堂
    • Related Report
      2012 Annual Research Report
  • [Presentation] 口唇動作による自動単語認識装置の開発

    • Author(s)
      若松 英輝
    • Organizer
      電子情報通信学会2013総合大会
    • Place of Presentation
      岐阜大学
    • Related Report
      2012 Annual Research Report

URL: 

Published: 2010-08-23   Modified: 2019-07-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi