• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識

研究課題

研究課題/領域番号 19K11411
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分59010:リハビリテーション科学関連
研究機関筑波技術大学

研究代表者

白石 優旗  筑波技術大学, 産業技術学部, 准教授 (00389214)

研究期間 (年度) 2019-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2021年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2020年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2019年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワードろう・難聴者支援 / 手話認識 / 指文字認識 / 機械学習 / 深層学習 / ダイバーシティ社会 / データグローブ / 手話書記法 / 手話 / 認識 / 指文字
研究開始時の研究の概要

本研究では、聴覚障害者と健聴者との円滑なコミュニケーションの達成のため、手話を認識するシステムの実現に取り組む。

手話を認識するためには、手の位置、向き、手指の形状、及び動き情報が最低限必要である。これらの多次元時系列情報を、データグローブを用いて取得する方法を採用する。

具体的には、手話認識を多次元時系列データに対する識別問題とみなし、一次元時系列データに対する識別手法である音声認識手法を拡張する。その際、識別手法には深層学習を採用する。更に、音声言語とは異なる手話言語の特徴を考慮した認識手法の確立を試みる。

研究成果の概要

本研究では、ろう・難聴者(聴覚障害者)と聴者のコミュニケーション支援を目的とし、手話認識技術の開発に取り組みました。深層学習を用いて、指文字の識別や連続指文字の認識において高い精度を達成しました。また、車の運転シーンでの片手手話認識の基盤を構築し、ろう・難聴者の安全で自由な移動を支援するための技術的基盤を作成しました。今後は、この研究で得られた知見を活かし、実用的な手話認識システムの開発を目指します。

研究成果の学術的意義や社会的意義

本研究の成果は、手話認識技術の発展に寄与するものです。手話言語の特徴を工学的アプローチにより明らかにすることで、言語学の発展にも貢献し得ると考えます。また、手話認識の精度向上は、ろう・難聴者の社会参加を促進し、生活の質を高めることにつながります。これらの成果は、多様性を尊重し、誰もが平等に社会参加できる環境の実現に貢献するものと考えられます。本研究は、ダイバーシティ社会の実現に向けた重要な一歩となると信じています。

報告書

(6件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (11件)

すべて 2024 2023 2022 2021 2020 その他

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (7件) (うち国際学会 6件、 招待講演 1件) 備考 (2件)

  • [雑誌論文] Sensor Glove Approach for Continuous Recognition of Japanese Fingerspelling in Daily Life2022

    • 著者名/発表者名
      Yuhki Shiraishi, Akihisa Shitara, Fumio Yoneyama, Nobuko Kato
    • 雑誌名

      International Journal on Advances in Life Sciences

      巻: 14 ページ: 53-70

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Sign Language Conversational User Interfaces Using Luminous Notification and Eye Gaze for the Deaf and Hard of Hearing2021

    • 著者名/発表者名
      Takashi Kato, Akihisa Shitara, Nobuko Kato, Yuhki Shiraishi
    • 雑誌名

      Proceedings of The Fourteenth International Conference on Advances in Computer-Human Interactions (ACHI 2021)

      巻: - ページ: 33-36

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] One-Handed Signs: Standardization for Vehicle Interfaces and Groundwork for Automated Sign Language Recognition2024

    • 著者名/発表者名
      Akihisa Shitara, Taiga Kasama, Fumio Yoneyama, Yuhki Shiraishi
    • 学会等名
      The Seventeenth International Conference on Advances in Computer-Human Interactions (ACHI 2024)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Sign Language Writing System: Focus on the Representation of Sign Language-Specific Features2024

    • 著者名/発表者名
      Nobuko Kato, Yuito Nameta, Yuhki Shiraishi, Akihisa Shitara
    • 学会等名
      The Seventeenth International Conference on Advances in Computer-Human Interactions (ACHI 2024)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Visually-Structured Written Notation Based on Sign Language for the Deaf and Hard-of-Hearing2023

    • 著者名/発表者名
      Nobuko Kato, Yuhki Hotta, Akihisa Shitara, Yuhki Shiraishi
    • 学会等名
      The 15th International Conference on Computer Supported Education (CSEDU 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Commonsense-aware AttentionとDiscrepancy Resolution Lossを用いたユーモア検出手法の提案2023

    • 著者名/発表者名
      佐々木 裕多, 張 建偉, 白石 優旗
    • 学会等名
      第15回データ工学と情報マネジメントに関するフォーラム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] User-led Accessible Technology Research for the Deaf and Hard of Hearing in Human-computer Interaction2021

    • 著者名/発表者名
      Yuhki Shiraishi
    • 学会等名
      The Fourteenth International Conference on Advances in Computer-Human Interactions (ACHI 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Sensor Glove Approach for Japanese Fingerspelling Recognition System Using Convolutional Neural Networks2020

    • 著者名/発表者名
      Tomohiko Tsuchiya, Akihisa Shitara, Fumio Yoneyama, Nobuko Kato, Yuhki Shiraishi
    • 学会等名
      Proceedings of The Thirteenth International Conference on Advances in Computer-Human Interactions (ACHI 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Alarm Sound Classification System in Smartphones for the Deaf and Hard-of-Hearing Using Deep Neural Networks2020

    • 著者名/発表者名
      Yuhki Shiraishi, Takuma Takeda, Akihisa Shitara
    • 学会等名
      Proceedings of The Thirteenth International Conference on Advances in Computer-Human Interactions (ACHI 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [備考] Shiraishi Lab - Sign Language Recognition

    • URL

      https://www.shiraishi-lab.org/home/project/sign-language-recognition

    • 関連する報告書
      2023 実績報告書 2022 実施状況報告書 2021 実施状況報告書
  • [備考] Shiraishi Lab - Sign Recognition

    • URL

      https://www.shiraishi-lab.org/home/project/sign-recognition

    • 関連する報告書
      2020 実施状況報告書 2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi