読唇システムを用いた「介護用電動車いす」の実用化に関する研究

• Project/Area Number: 21500515
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Rehabilitation science/Welfare engineering
• Research Institution: Tottori University
• Principal Investigator: 小西 亮介 Tottori University, 工学(系)研究科(研究院), 教授 (00032269)
• Co-Investigator(Kenkyū-buntansha): 齊藤 剛史 (齋藤 剛史) 九州工業大学, 情報工学研究院, 准教授 (10379654)
• Project Period (FY): 2009 – 2010
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2011: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000); Fiscal Year 2010: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2009: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 介護支援技術 / 電動車いすの制御 / 読唇システム / 走行支援 / リアルタイム画像処理

Research Abstract

本研究課題では、手動操作が困難な身障者や高齢者が「唇の動き」で操作できる次世代型「介護用電動車いす」の実用化を目指す。その場合、安全でかつ容易に操作できるだけでなく、車いすの走行がスムーズで「乗り心地」が自然であることが重要である。この目的の下、以下に研究に取り組んだ。
1)個人差や環境の変動に影響されない強固な走行操作端末としての読唇システムの検討:高い認識精度を実現するためには、正確な口唇領域の抽出が期待される。本研究では静的環境で撮影された発話シーンでなく、ユーザの自然な顔の動きや光源環境が変化する動的環境においても安定に抽出が行えるよう、顔全体が写る画像に対する抽出法を提案し、さらにリアルタイム処理化を図った。静的環境で撮影した発話シーンおよび動的環境で実験を実施した。これら読唇に関する成果は学術論文1件、国際会議2件、国内学会3件で報告した。また学術論文1件の採録が決定している。
2)障害物回避およびスムーズな走行を保障するための補助システムの設計:学校や病院などの多くの公共施設は複数のフロアがあり、エレベータが設置されている。しかし、これまで移動ロボットに関する研究でフロア間移動について議論されていない。そこでエレベータを利用してフロア間の移動が可能なシステムを開発した。またこれまで車いすの前方に搭載した超音波センサでは検知範囲の制限および精度の問題があった。そこでレーザレンジファインダを搭載し、車いすの周囲環境を広範囲かつ高い精度で取得できるよう改善した。さらにEKF-SLAMを実装し、壁沿い走行機能を組み込んだ。壁沿い走行に関する成果は国内学会で報告し、また国際会議へ投稿予定である。

Research Products

• [Journal Article] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇 (2011)
  • Author(s): 齊藤剛史、森下和敏、小西亮介
  • Journal Title: 電気学会論文誌 Volume: 131 Pages: 418-424
  • NAID: 10027804091
  • Peer Reviewed
• [Presentation] レーザレンジファインダを用いたSLAMによる電動車いすの走行制御 (2011)
  • Author(s): 吉田浩治
  • Organizer: 電子情報通信学会福祉情報工学研究会
  • Place of Presentation: 立命館大学(滋賀県)
  • Year and Date: 2011-01-24
• [Presentation] フレームレート変化による単語読唇の影響に関する考察 (2010)
  • Author(s): 齊藤剛史
  • Organizer: 第13回 画像の認識・理解シンポジウム
  • Place of Presentation: 釧路市観光国際交流センター(北海道)
• [Presentation] Profile Lip Reading for Vowel and Word Recognition (2010)
  • Author(s): Takeshi Saitoh
  • Organizer: 20^<th> International Conference on Pattern Recognition
  • Place of Presentation: Istanbul Convention & Exhibition Centre (トルコ)
• [Presentation] A study of influence of word lip reading by change of frame rate (2010)
  • Author(s): Takeshi Saitoh
  • Organizer: 9^<th> International Conference on Auditory-Visual Speech Processing
  • Place of Presentation: プリンス箱根(神奈川県)
• [Presentation] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識 (2010)
  • Author(s): 齊藤剛史
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 幕張メッセ(千葉県)
• [Presentation] 口形認識に有効な視点の検討 (2010)
  • Author(s): 齊藤剛史
  • Organizer: 第15回 パターン計測シンポジウム
  • Place of Presentation: デュープレックスセミナーホテル(茨木県)
• [Presentation] Word lip reading in various tones (2010)
  • Author(s): Takeshi Saitoh
  • Organizer: 16th Korea-Japan Joint Workshop on Frontiers of Computer Vision
  • Place of Presentation: 安芸グランドホテル(広島県)
• [Presentation] トラジェクトリ特徴量を利用した単語読唇に関する基礎検討 (2010)
  • Author(s): 齊藤剛史
  • Organizer: 電子情報通信学会パターン認識・メディア理解研究会
  • Place of Presentation: 鹿児島大学(鹿児島県)
• [Presentation] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇 (2009)
  • Author(s): 森下和敏
  • Organizer: 第11回 画像の認識・理解シンポジウム
  • Place of Presentation: くにびきメッセ(島根県)
• [Presentation] Voice activated wheelchair with collision avoidance using sensor information (2009)
  • Author(s): Akira Murai
  • Organizer: ICROS-SICE International Joint Conference 2009
  • Place of Presentation: 福岡国際会議場(福岡県)
• [Presentation] Elevator available voice activated wheelchair (2009)
  • Author(s): Akira Murai
  • Organizer: IEEE RO-MAN 2009
  • Place of Presentation: 富山国際会議場(富山県)