• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

手指動作と非手指動作の重要度を考慮したマルチモーダル手話認識システムの開発

研究課題

研究課題/領域番号 15K12601
研究種目

挑戦的萌芽研究

配分区分基金
研究分野 リハビリテーション科学・福祉工学
研究機関九州工業大学

研究代表者

齊藤 剛史  九州工業大学, 大学院情報工学研究院, 准教授 (10379654)

研究期間 (年度) 2015-04-01 – 2018-03-31
研究課題ステータス 完了 (2017年度)
配分額 *注記
2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2017年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2016年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2015年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワード手話認識 / 注視情報分析 / 読唇 / 表情認識 / マルチモーダル手話認識 / 手指動作および非手指動作
研究成果の概要

聴覚障害者の主なコミュニケーション手段である手話は、手指動作だけでなく、口唇の動きや顔の表情などの非手指動作を同時に利用する。画像処理技術を利用した手話認識は、非接触センサであるカメラを利用するため実用化が期待されている。しかし従来研究の多くは手指動作のみしか考慮されていない。本研究では手指動作を用いた手話認識だけでなく、読唇技術と表情認識技術についても検討した。研究をスムーズに進めるためにモーションセンサを用いたデータベースについても検討した。さらに手話観察時における注視点を解析することで、顔周辺、手指周辺あるいはその他のどこを注視しているか解析した。

報告書

(4件)
  • 2017 実績報告書   研究成果報告書 ( PDF )
  • 2016 実施状況報告書
  • 2015 実施状況報告書
  • 研究成果

    (12件)

すべて 2017 2016 2015

すべて 学会発表 (12件) (うち国際学会 3件)

  • [学会発表] 再帰型ニューラルネットワークを用いたマルチモーダル手話認識2017

    • 著者名/発表者名
      児玉 知也,齊藤 剛史
    • 学会等名
      第20回 画像の認識・理解シンポジウム(MIRU2017)
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Kinect Sensor Based Sign Language Word Recognition by Mutli-Stream HMM2017

    • 著者名/発表者名
      Tomoya Kodama, Tomoki Koyama, Takeshi Saitoh
    • 学会等名
      SICE Annual Conference 2017
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] 手話認識に有効な骨格情報の検討2017

    • 著者名/発表者名
      児玉 知也,齊藤 剛史
    • 学会等名
      電子情報通信学会 音声研究会,福祉情報工学研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] フレーム連結画像を用いたCNNによる読唇2016

    • 著者名/発表者名
      齊藤 剛史
    • 学会等名
      第6回バイオメトリクスと認識・認証シンポジウム(SBRA2016)
    • 発表場所
      芝浦工業大学(東京都江東区)
    • 年月日
      2016-11-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 距離画像のフレーム連結画像を用いたConvolutional Neural Networkによる手話単語認識2016

    • 著者名/発表者名
      橋村 佳祐,齊藤 剛史
    • 学会等名
      電子情報通信学会 福祉工学研究会
    • 発表場所
      唐津ロイヤルホテル(佐賀県唐津市)
    • 年月日
      2016-10-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 距離画像のフレーム連結画像を用いたCNNによる手話単語認識2016

    • 著者名/発表者名
      橋村 佳祐,齊藤 剛史
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル(福岡県福岡市)
    • 年月日
      2016-10-14
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] フレーム連結画像を用いたCNNによる読唇2016

    • 著者名/発表者名
      齊藤 剛史
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル(福岡県福岡市)
    • 年月日
      2016-10-14
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] LBP-TOP based Facial Expression Recognition using Non Rectangular ROI2016

    • 著者名/発表者名
      Masaya Iwasaki and Takeshi Saitoh
    • 学会等名
      International Conference on Information and Communication Technology Robotics (ICT-ROBOT2016)
    • 発表場所
      (BEXCO,釜山,韓国)
    • 年月日
      2016-09-07
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] フレーム連結画像を用いたCNNによるシーン認識2016

    • 著者名/発表者名
      齊藤 剛史,Ziheng Zhou,Iryna Anina,Guoying Zhao,Matti Pietikainen
    • 学会等名
      第19回 画像の認識・理解シンポジウム(MIRU2016)
    • 発表場所
      アクトシティ浜松(静岡県浜松市)
    • 年月日
      2016-08-01
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 手話シーン観察時の注視情報分析2016

    • 著者名/発表者名
      祐宗 高徳,渋谷 昌尚,川田 健司,齊藤 剛史
    • 学会等名
      電子情報通信学会パターン認識とメディア理解研究会
    • 発表場所
      九州工業大学
    • 年月日
      2016-02-21
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] Concatenated Frame Image based CNN for Visual Speech Recognition2016

    • 著者名/発表者名
      Takeshi Saitoh, Ziheng Zhou, Guoying Zhao, and Matti Pietikainen
    • 学会等名
      ACCV2016 workshop: Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)
    • 発表場所
      (Taipei International Convention Center (TICC) ,台北,台湾)
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Light-HMMを用いた手話認識2015

    • 著者名/発表者名
      橋村 佳祐,齊藤 剛史
    • 学会等名
      平成27年度電気・情報関係学会九州支部連合大会
    • 発表場所
      福岡大学
    • 年月日
      2015-09-26
    • 関連する報告書
      2015 実施状況報告書

URL: 

公開日: 2015-04-16   更新日: 2019-03-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi