• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識

研究課題

研究課題/領域番号 19K11411
研究機関筑波技術大学

研究代表者

白石 優旗  筑波技術大学, 産業技術学部, 准教授 (00389214)

研究期間 (年度) 2019-04-01 – 2024-03-31
キーワード手話認識 / 指文字認識 / データグローブ / 深層学習
研究実績の概要

2022年度は、これまでの連続指文字認識システム実験の成果について国際ジャーナルへ投稿し、採択された。また、これまでに開発してきた連続指文字システムを手話認識に発展させるため、センサグローブの改良を行った。さらに、手話認識用データ採取実験のために、新たな実験プロトコルを作成し、筑波技術大学倫理審査委員会の承認を得た。

これまでに開発してきたセンサグローブは、USBケーブルでPCに接続しデータ採取する必要があり、実験参加者が自然な手話をしづらく、データにノイズが入ることがあった。今回、Bluetooth 5.0を使用し、ケーブルレスでPCやスマートフォンと接続するシステムを実現することで、自然な手話データの取得が可能になった。組込みボードには、IMU(6軸加速度)が内蔵されているTensorFlow Lite対応のSeeed Studio XIAO nRF52840 Senseを採用した。また、左利きのユーザや両手を用いる手話表現に対応するため、左右両方のデータグローブを製作した。

日本手話には約5,000語の単語があると言われており、全ての単語データを収集するのは非常に困難である。また、単一の単語の表現する場合と、複数の単語からなる文章を表現する場合では、文章表現における単語間の連結作用により単語表現が一部異なる。本研究では、手話認識を使用する環境を限定し、その特定環境でよく使用される手話を対象としたデータ採取を行う。これにより、当該環境で実用的な手話認識システムが実現できることが期待される。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

新型コロナウイルスの影響で、実験機器を用いたデータ採取実験に遅れが生じたため。

今後の研究の推進方策

まずは、筑波技術大学倫理審査委員会の承認を得た手話認識用データ採取実験プロトコルに基づき、実際にデータ採取実験を行う。次に、これまでの連続指文字認識システムを改良し、手話認識システムを構築する。その際、手話言語の特徴を考慮した認識モデルを構築することで、高精度の認識性能の実現を目指す。さらに、リアルタイムで動作するデモシステムを構築する。

次年度使用額が生じた理由

新型コロナウイルスの影響により、実験に遅れが生じたため。 次年度の実験のための謝金として使用予定。

  • 研究成果

    (3件)

すべて 2023 2022 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (1件) 備考 (1件)

  • [雑誌論文] Sensor Glove Approach for Continuous Recognition of Japanese Fingerspelling in Daily Life2022

    • 著者名/発表者名
      Yuhki Shiraishi, Akihisa Shitara, Fumio Yoneyama, Nobuko Kato
    • 雑誌名

      International Journal on Advances in Life Sciences

      巻: 14 ページ: 53-70

    • 査読あり / オープンアクセス
  • [学会発表] Commonsense-aware AttentionとDiscrepancy Resolution Lossを用いたユーモア検出手法の提案2023

    • 著者名/発表者名
      佐々木 裕多, 張 建偉, 白石 優旗
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム
  • [備考] Shiraishi Lab - Sign Language Recognition

    • URL

      https://www.shiraishi-lab.org/home/project/sign-language-recognition

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi