聴覚障害者のコミュニケーション支援のための読唇による会話認識インタフェースの開発

• 研究課題/領域番号: 21700582
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: リハビリテーション科学・福祉工学
• 研究機関: 九州工業大学 (2010-2011); 鳥取大学 (2009)
• 研究代表者: 齊藤 剛史 九州工業大学, 大学院・情報工学研究院, 准教授 (10379654)
• 研究期間 (年度): 2009 – 2011
• 研究課題ステータス: 完了 (2011年度)
• 配分額: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円); 2011年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2010年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2009年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
• キーワード: 読唇 / コミュニケーション支援 / 聴覚障害者 / 読唇システム / インタフェース

研究概要

本課題では,機械読唇を利用した聴覚障害者のコミュニケーション支援を目的として,リアルタイムで読唇するだけでなく,コミュニケーション支援を意識したプロトタイプシステムを開発した.日本語会話文50文を認識対象として,被験者4名の協力のもと5週間以上の長い期間で実験を実施した.その結果, 94%の平均認識率を得て,開発システムの実用性の高さを示した.

研究成果

• [雑誌論文] Real-time word lip reading system based on trajectory feature (2011)
  • 著者名/発表者名: Takeshi Saitoh、Ryosuke Konishi
  • 雑誌名: IEEJ Transactions on Electrical and Electronic Engineering 巻: Vol.6 ページ: 289-291
  • NAID: 10028226766
  • 査読あり
• [雑誌論文] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇 (2011)
  • 著者名/発表者名: 齊藤剛史、森下和敏、小西亮介
  • 雑誌名: 電気学会論文誌 巻: 131巻 ページ: 418-424
  • NAID: 10027804091
  • 査読あり
• [雑誌論文] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇 (2011)
  • 著者名/発表者名: 齊藤剛史, 森下和敏, 小西亮介
  • 雑誌名: 電気学会論文誌 巻: 131 ページ: 418-424
  • NAID: 10027804091
  • 査読あり
• [学会発表] 読唇に有効な顔モデルの検討 (2012)
  • 著者名/発表者名: 齊藤剛史、韓リャン
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 神戸大学(兵庫)
• [学会発表] 読唇に有効な顔モデルの検討 (2012)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 神戸大学(兵庫県)
• [学会発表] Real-time Lip Reading System for Fixed Phrase and Its Combination (2011)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 1st Asian Conference on Pattern Recognition
  • 発表場所: JINGYI HOTEL(中国)
• [学会発表] 発話障害者のための読唇技術を利用したコミュニケーション支援システム (2011)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: ヒューマンインタフェースシンポジウム2011
  • 発表場所: 仙台国際センター(宮城)
• [学会発表] Development of Communication Support System using Lip Reading (2011)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 10th International Conference on Auditory-Visual Speech Processing
  • 発表場所: SIAF(イタリア)
• [学会発表] 読唇のための線形回帰による視点変換 (2011)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 第14回画像の認識・理解シンポジウム
  • 発表場所: 金沢市文化ホール(石川)
• [学会発表] 読唇のための線形回帰による視点変換 (2011)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 第14回画像の認識・理解シンポジウム
  • 発表場所: 金沢市文化ホール(石川県)
• [学会発表] Development of Communication Support System using Lip Reading (2011)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 10th International Conference on Auditory-Visual Speech Processing
  • 発表場所: SIAF (Italy)
• [学会発表] 発話障害者のための読唇技術を利用したコミュニケーション支援システム (2011)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: ヒューマンインタフェースシンポジウム2011
  • 発表場所: 仙台国際センター(宮城県)
• [学会発表] Real-time Lip Reading System for Fixed Phrase and Its Combination (2011)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 1st Asian Conference on Pattern Recognition
  • 発表場所: JINGYI HOTEL (China)
• [学会発表] 口形認識に有効な視点の検討 (2010)
  • 著者名/発表者名: 齊藤剛史、山下晃平、小西亮介
  • 学会等名: 第15回パターン計測シンポジウム
  • 発表場所: デュープレックスセミナーホテル(茨木)
• [学会発表] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識 (2010)
  • 著者名/発表者名: 齊藤剛史、内田克彦、小西亮介
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 幕張メッセ(千葉)
• [学会発表] A study of influence of word lip reading by change of frame rate (2010)
  • 著者名/発表者名: Takeshi Saitoh、Ryosuke Konishi
  • 学会等名: 9th International Conference on Auditory-Visual Speech Processing
  • 発表場所: プリンス箱根(神奈川)
• [学会発表] Profile Lip Reading for Vowel and Word Recognition (2010)
  • 著者名/発表者名: Takeshi Saitoh、Ryosuke Konishi
  • 学会等名: 20th International Conference on Pattern Recognition
  • 発表場所: ICEC(トルコ)
• [学会発表] フレームレート変化による単語読唇の影響に関する考察 (2010)
  • 著者名/発表者名: 齊藤剛史、小西亮介
  • 学会等名: 第13回画像の認識・理解シンポジウム
  • 発表場所: 釧路市観光国際交流センター(北海道)
• [学会発表] トラジェクトリ特徴量を利用した単語読唇に関する基礎検討 (2010)
  • 著者名/発表者名: 齊藤剛史、石倉寛之、山下晃平、小西亮介
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 鹿児島大学(鹿児島)
• [学会発表] Word Lip Reading in Various Tones (2010)
  • 著者名/発表者名: Takeshi Saitoh、Hiroyuki Ishikura、Ryosuke Konishi
  • 学会等名: 16th Korea-Japan Joint Workshop on Frontiers of Computer Vision
  • 発表場所: 安芸グランドホテル(広島)
• [学会発表] フレームレート変化による単語読唇の影響に関する考察 (2010)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 第13回 画像の認識・理解シンポジウム
  • 発表場所: 釧路市観光国際交流センター(北海道)
• [学会発表] Profile Lip Reading for Vowel and Word Recognition (2010)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 20^<th> International Conference on Pattern Recognition
  • 発表場所: Istanbul Convention & Exhibition Centre (トルコ)
• [学会発表] A study of influence of word lip reading by change of frame rate (2010)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 9^<th> International Conference on Auditory-Visual Speech Processing
  • 発表場所: プリンス箱根(神奈川県)
• [学会発表] 連続DPマッチングを用いた発話シーンからの単語スポッティング認識 (2010)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 幕張メッセ(千葉県)
• [学会発表] 口形認識に有効な視点の検討 (2010)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 第15回 パターン計測シンポジウム
  • 発表場所: デュープレックスセミナーホテル(茨木県)
• [学会発表] Word Lip Reading in Various Tones (2010)
  • 著者名/発表者名: Takeshi Saitoh
  • 学会等名: 16th Korea-Japan Joint Workshop on Frontiers of Computer Vision
  • 発表場所: 安芸グランドホテル(広島県)
• [学会発表] トラジェクトリ特徴量を利用した単語読唇に関する基礎検討 (2010)
  • 著者名/発表者名: 齊藤剛史
  • 学会等名: 電子情報通信学会パターン認識・メディア理解研究会
  • 発表場所: 鹿児島大学(鹿児島県)
• [学会発表] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇 (2009)
  • 著者名/発表者名: 森下和敏、齊藤剛史、小西亮介
  • 学会等名: 第12回画像の認識・理解シンポジウム
  • 発表場所: くにびきメッセ(島根)
• [学会発表] 発話シーンからのキーフレーム検出とキーフレームに基づく単語読唇 (2009)
  • 著者名/発表者名: 森下和敏
  • 学会等名: 第11回 画像の認識・理解シンポジウム
  • 発表場所: くにびきメッセ(島根県)
• [産業財産権] コミュニケーション支援システム (2011)
  • 発明者名: 齊藤剛史
  • 権利者名: 齊藤剛史
  • 産業財産権番号: 2011-182594
  • 出願年月日: 2011-08-24
• [産業財産権] ワードスポッティング読唇及び方法 (2010)
  • 発明者名: 齊藤剛史
  • 権利者名: 齊藤剛史
  • 産業財産権番号: 2010-201629
  • 出願年月日: 2010-09-09