口唇動作を用いた多言語間の非発声ヒューマンインタフェースの研究

• 研究課題/領域番号: 22500112
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: メディア情報学・データベース
• 研究機関: 東海大学
• 研究代表者: 山田 光穗 東海大学, 情報通信学部情報メディア学科, 教授 (60366086)
• 研究期間 (年度): 2010 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2012年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2011年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円); 2010年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
• キーワード: ヒューマンインターフェイス / 発話認識 / ヒューマンインタフェース / 口唇検出 / 口唇動作履歴 / パワースペクトル / 日本語母音認識 / 英語母音認識 / 音声認識 / 発話訓練

研究概要

口唇動作による単語認識について、異なる発話者間だけでなく同一発話者が発話する時間や日にちを変えても単語認識を良好に行えることを示した。鉄道の駅名認識に注目し実用性を示した。また、ネイティブと日本人いずれが発話しても同一の英単語の認識が可能なことを示した。さらに、口唇動作の取得から認識まで自動で行うことができるシステムを開発し、様々な言語に対応する非発声ヒューマンインタフェースの実現可能性を示した。

研究成果

• [雑誌論文] 口唇特徴点動作のパワースペクトルの相関を用いた非発声の発話認識手法の可能性に対する検討 (2012)
  • 著者名/発表者名: 齋藤 翼
  • 雑誌名: 東海大学紀要情報通信学部 巻: 5 ページ: 36-44
  • 査読あり
• [学会発表] 口唇動作による自動単語認識装置の開発 (2013)
  • 著者名/発表者名: 若松英輝、菊地慧、新川達矢、大城政人、山田光穗
  • 学会等名: 電子情報通信学会 2013 総合大会
  • 発表場所: A-20
• [学会発表] Utterance recognition using lip movements (2013)
  • 著者名/発表者名: Eiki Wakamatsu, Kei Kikuchi, Tatsuya Shinkawa, Masato Ohshiro, Mitsuho Yamada
  • 学会等名: IWAIT 2013
  • 発表場所: Nagoya
• [学会発表] 口唇動作による発声認識システムの検討 (2012)
  • 著者名/発表者名: 大城政人
  • 学会等名: 電子情報通信学会2012総合大会
  • 発表場所: 岡山大学
  • 年月日: 2012-03-23
• [学会発表] 口唇動作による駅名認識の有効性の検討 (2012)
  • 著者名/発表者名: 大城政人、新川達矢、笠原篤之、尾上拓、山田光穗
  • 学会等名: ヒューマンインタフェースシンポジウム 2012
• [学会発表] イギリス英語母音と日本語母音に対する口唇動作比較 (2011)
  • 著者名/発表者名: 尾上拓
  • 学会等名: 2011年電子情報通信学会基礎・境界ソサイエティ大会
  • 発表場所: 北海道大学
  • 年月日: 2011-09-14
• [学会発表] 口唇動作を用いた発話認識の汎用性の検討～駅名認識への取り組み～ (2011)
  • 著者名/発表者名: 笠原篤之
  • 学会等名: 2011年電子情報通信学会基礎・境界ソサイエティ大会
  • 発表場所: 北海道大学
  • 年月日: 2011-09-14
• [学会発表] 日本語母音発話時の口唇動作の3次元動作解析 (2011)
  • 著者名/発表者名: 大城政人
  • 学会等名: 2011年電子情報通信学会基礎・境界ソサイエティ大会
  • 発表場所: 北海道大学
  • 年月日: 2011-09-14
• [学会発表] 口唇動作を用いた非発声による駅名入力の解析 (2011)
  • 著者名/発表者名: 新川達矢
  • 学会等名: 電子情報通信学会2011総合大会
  • 発表場所: 東京都市大学世田谷キャンパス
  • 年月日: 2011-03-14
• [学会発表] 口唇動作の3次元解析の検討 (2011)
  • 著者名/発表者名: 大城政人
  • 学会等名: 電子情報通信学会2011総合大会
  • 発表場所: 東京都市大学世田谷キャンパス
  • 年月日: 2011-03-14
• [学会発表] 口唇動作を用いた母音列認識における各特徴点相関の検討 (2010)
  • 著者名/発表者名: 齋藤翼
  • 学会等名: ヒューマンインタフェースシンポジウム2010
  • 発表場所: 立命館大学草津キャンパス
  • 年月日: 2010-09-09
• [学会発表] 発声時の口唇動作スペクトルによるイギリス英語母音認識法の提案 (2010)
  • 著者名/発表者名: 尾上拓
  • 学会等名: ヒューマンインタフェースシンポジウム2010
  • 発表場所: 立命館大学草津キャンパス
  • 年月日: 2010-09-09
• [学会発表] 口唇動作を用いた駅名認識インターフェースの提案 (2010)
  • 著者名/発表者名: 笠原篤之
  • 学会等名: ヒューマンインタフェースシンポジウム2010
  • 発表場所: 立命館大学草津キャンパス
  • 年月日: 2010-09-08
• [学会発表] 口唇動作による駅名認識の有効性の検討
  • 著者名/発表者名: 大城政人
  • 学会等名: ヒューマンインタフェースシンポジウム２０１２
  • 発表場所: 九州大学大橋キャンパス
• [学会発表] 口唇動作による母音認識のための口唇特徴点自動抽出装置の開発
  • 著者名/発表者名: 若松 英輝
  • 学会等名: ヒューマンインタフェースシンポジウム２０１２
  • 発表場所: 九州大学大橋キャンパス
• [学会発表] Utterance Recognition Using Lip Movements
  • 著者名/発表者名: Eiki Wakamatsu
  • 学会等名: IWAIT(International Workshop on Advanced Image Technology) 2013
  • 発表場所: 名古屋大学豊田講堂
• [学会発表] 口唇動作による自動単語認識装置の開発
  • 著者名/発表者名: 若松 英輝
  • 学会等名: 電子情報通信学会2013総合大会
  • 発表場所: 岐阜大学