Research on running assistance of electric wheelchair by using lip-reading system

• Project/Area Number: 19500476
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Rehabilitation science/Welfare engineering
• Research Institution: Tottori University
• Principal Investigator: KONISHI Ryosuke Tottori University, 工学研究科, 教授 (00032269)
• Co-Investigator(Kenkyū-buntansha): SAITOH Takeshi 鳥取大学, 工学研究科, 助教 (10379654)
• Project Period (FY): 2007 – 2008
• Project Status: Completed (Fiscal Year 2008)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2008: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2007: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
• Keywords: 読唇システム / 介護支援技術 / 電動車いすの走行制御 / リアルタイム画像処理 / 単語認識 / 唇領域抽出

Research Abstract

本課題では、手動操作が困難な身障者や高齢者が「口唇の動き」で操作できる「介護用電動車いす」の開発に取り組む。視覚情報を利用して口唇の動きをカメラ画像で認識する読唇の基盤技術、読唇処理のリアルタイム化、センサ情報を利用して障害物などを回避する走行補助に関して、アルゴリズムの開発や電動車いすシステムの実装を行った。

Research Products

• [Journal Article] Japanese 45 Single Sounds Recognition Using Intraoral Shape (2008)
  • Author(s): Takeshi Saitoh、Ryosuke Konishi
  • Journal Title: IEICE Trans. on Information and Systems E91-D巻、11号 Pages: 2735-2738
  • NAID: 10026806621
  • Peer Reviewed
• [Journal Article] Japanese 45 Single Sound Recognition Using Intraoral Shape (2008)
  • Author(s): Takeshi Saitoh
  • Journal Title: IEICE Trans. on Information and Systems E91-D Pages: 2735-2738
  • NAID: 10026806621
  • Peer Reviewed
• [Journal Article] Analysis of Features for Efficient Japanese Vowel Recognition (2007)
  • Author(s): Takeshi Saitoh、Mitsugu Hisagi、Ryosuke Konishi
  • Journal Title: IEICE Trans. On Information and Systems E90-D巻、11号 Pages: 1889-1891
  • NAID: 110007541167
  • Peer Reviewed
• [Journal Article] トラジェクトリ特徴量に基づく単語読唇 (2007)
  • Author(s): 齊藤剛史、小西亮介
  • Journal Title: 電子情報通信学会論文誌 J90-D巻、4号 Pages: 1105-1114
  • NAID: 110007380704
  • Peer Reviewed
• [Journal Article] トラジェクトリ特徴量に基づく単語読唇 (2007)
  • Author(s): 齊藤 剛史
  • Journal Title: 電子情報通信学会論文誌 J90-D Pages: 1105-1114
  • NAID: 110007380704
  • Peer Reviewed
• [Journal Article] Analysis of Features for Efficient Japanese Vowel Recognition (2007)
  • Author(s): Takeshi Saitoh
  • Journal Title: IEICE Trans. on Information and Systems E90-D Pages: 1889-1891
  • NAID: 110007541167
  • Peer Reviewed
• [Presentation] エレベータによるフロア間移動が可能な音声操作型電動車いす (2009)
  • Author(s): 水口正治、村井彰、西森雅人、齊藤剛史、尾崎知幸、小西亮介
  • Organizer: 電子情報通信学会福祉情報工学研究会
  • Place of Presentation: 島根大学
  • Year and Date: 2009-03-25
• [Presentation] エレベータによるフロア間移動が可能な音声操作型電動車いす (2009)
  • Author(s): 村井彰
  • Organizer: 電子情報通信学会福祉情報工学研究会
  • Place of Presentation: 島根大学松江キャンパス
• [Presentation] Analysis of Efficient Lip Reading Method for Various Languages (2008)
  • Author(s): Takeshi Saitoh、Kazutoshi Morishita、Ryosuke Konishi
  • Organizer: Proc. Of International Conference on Pattern Recognition
  • Place of Presentation: 米国フロリダ州タンパ市タンパコンペションセンター
  • Year and Date: 2008-12-08
• [Presentation] トラジェクトリ特徴量に基づく単語認識のリアルタイム処理 (2008)
  • Author(s): 加藤友哉、齊藤剛史、小西亮介
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 大阪大学
  • Year and Date: 2008-11-27
• [Presentation] 発話時における口唇形状の変化による単語認識 (2008)
  • Author(s): 齊藤剛史、森下和敏、小西亮介
  • Organizer: 計測自動制御学会第13回パターン計測シンポジウム
  • Place of Presentation: かんぽの宿修善寺
  • Year and Date: 2008-11-21
• [Presentation] 横顔画像の輪郭形状に基づく読唇 (2008)
  • Author(s): 齊藤剛史、小西亮介
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 慶應義塾大学
  • Year and Date: 2008-09-06
• [Presentation] 複数口唇領域を利用した多言語に有効な単語読唇 (2008)
  • Author(s): 齊藤剛史、森下和敏、小西亮介
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 慶應義塾大学
  • Year and Date: 2008-09-06
• [Presentation] 複数の口唇領域を用いた単語認識 (2008)
  • Author(s): 齊藤剛史、久木貢、森下和敏、小西亮介
  • Organizer: 第11回画像の認識・理解シンポジウム
  • Place of Presentation: 軽井沢プリンスホテル
  • Year and Date: 2008-07-29
• [Presentation] 音声命令による電動車椅子の操作 (2008)
  • Author(s): 水口正治、西森雅人、村井彰、齊藤剛史、尾崎知幸、小西亮介
  • Organizer: 電子情報通信学会福祉情報工学研究会
  • Place of Presentation: 神戸大学
  • Year and Date: 2008-05-29
• [Presentation] リアルタイム口部形状認識を利用した意思伝達システム (2008)
  • Author(s): 加藤友哉、齊藤剛史、小西亮介
  • Organizer: 電子情報通信学会福祉情報工学研究会
  • Place of Presentation: 島根大学
  • Year and Date: 2008-01-25
• [Presentation] リアルタイム口部形状認識を利用した意思伝達システム (2008)
  • Author(s): 加藤 友哉
  • Organizer: 電子情報通信学会 福祉情報工学研究会
  • Place of Presentation: 島根大学松江キャンパス
  • Year and Date: 2008-01-25
• [Presentation] 口部パターン形状を利用した文字入力システム (2008)
  • Author(s): 齊藤剛史、加藤友哉、小西亮介
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 龍谷大学
  • Year and Date: 2008-01-17
• [Presentation] 口部パターン形状を利用した文字入力システム (2008)
  • Author(s): 齊藤 剛史
  • Organizer: 電子情報通信学会 パターン認識・メディア理解研究会
  • Place of Presentation: 龍谷大学瀬田学舎
  • Year and Date: 2008-01-17
• [Presentation] 複数の口唇領域を用いた単語認識 (2008)
  • Author(s): 齊藤剛史
  • Organizer: 第11回 画像の認識・理解シンポジウム
  • Place of Presentation: 軽井沢プリンスホテル
• [Presentation] 複数口唇領域を利用した多言語に有効な単語読唇 (2008)
  • Author(s): 齊藤剛史
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 慶麿義塾大学日吉キャンパス
• [Presentation] 横顔画像の輪郭形状に基づく読唇 (2008)
  • Author(s): 齊藤剛史
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 慶唐義塾大学日吉キャンパス
• [Presentation] トラジェクトリ特徴量に基づく単語認識のリアルタイム処理 (2008)
  • Author(s): 加藤友哉
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 大阪大学豊中キャンパス
• [Presentation] Analysis of Efficient Lip Reading Method for Various Languages (2008)
  • Author(s): Takeshi Saitoh
  • Organizer: 19th International Conference on Pattern Recognition
  • Place of Presentation: 米国フロリダ州タンパ
• [Presentation] Oral Motion Controlled Intelligent Wheelchair (2007)
  • Author(s): Takeshi Saitoh、Noriyuki Takahashi、Ryosuke Konishi
  • Organizer: SIAnnual Conference 2007
  • Place of Presentation: 香川大学
  • Year and Date: 2007-09-18
• [Presentation] Voice ContrIntelligent Wheelchair (2007)
  • Author(s): Masato Nishimori、Takeshi Saitoh、 Ryosuke Konishi
  • Organizer: SICE Annual Conference 2007
  • Place of Presentation: 香川大学
  • Year and Date: 2007-09-18
• [Presentation] Oral Motion Controlled Intelligent Wheelchair (2007)
  • Author(s): Takeshi Saitoh
  • Organizer: SICE Annual Conference 2007, International Conference on Instrumentati on, Control and Information Technology
  • Place of Presentation: 香川大学幸町キャンパス
  • Year and Date: 2007-09-18
• [Presentation] 唇および口内領域形状に基づくトラジェクトリ特徴量による読唇 (2007)
  • Author(s): 齊藤剛史、小西亮介
  • Organizer: 第6回情報科学技術フォーラム
  • Place of Presentation: 中京大学
  • Year and Date: 2007-09-05
• [Presentation] 唇および口内領域形状に基づくトラジェクトリ特徴量による読唇 (2007)
  • Author(s): 齊藤 剛史
  • Organizer: 第6回情報科学技術フォーラム
  • Place of Presentation: 中京大学豊田キャンパス
  • Year and Date: 2007-09-05
• [Presentation] Development of an Intelligent Wheelchair with Visual Oral Motion (2007)
  • Author(s): Takeshi Saitoh、Noriyuki Takahashi、Ryosuke Konishi
  • Organizer: IEEE International Symposium on Robot and Human Interactive Communication
  • Place of Presentation: 韓国済州島シンラチェジュホテル
  • Year and Date: 2007-08-27
• [Presentation] Development of an Intelligent Wheelchair with Visual Oral Motion (2007)
  • Author(s): Takeshi Saitoh
  • Organizer: 16th IEEE International Symposium on Robot and Human Interactive Communication
  • Place of Presentation: 大韓民国済州島
  • Year and Date: 2007-08-27
• [Presentation] Japanese Phone Recognition using Lip Image Information (2007)
  • Author(s): Takeshi Saitoh、Mitsugu Hisagi、 Ryosuke Konishi
  • Organizer: IAPR Conference on Machine Vision Applications
  • Place of Presentation: 東京大学
  • Year and Date: 2007-05-16
• [Presentation] Japanese Phone Recognition using Lip Image Information (2007)
  • Author(s): Takeshi Saitoh
  • Organizer: IAPR Conference on Machine Vision and Applications
  • Place of Presentation: 東京大学生産技術研究所
  • Year and Date: 2007-05-16
• [Patent(Industrial Property Rights)] 文字入力方法 (2008)
  • Inventor(s): 齊藤剛史、小西亮介
  • Industrial Property Rights Holder: 国立大学法人鳥取大学
  • Filing Date: 2008-01-10