• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

自己教師あり学習手法による手話認識エンジンの開発

研究課題

研究課題/領域番号 23K17511
研究機関豊田工業高等専門学校

研究代表者

木村 勉  豊田工業高等専門学校, 情報工学科, 教授 (80225044)

研究分担者 酒向 慎司  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
三浦 哲平  豊田工業高等専門学校, 情報工学科, 助教 (20964307)
研究期間 (年度) 2023-06-30 – 2026-03-31
キーワード手話認識 / 深層学習 / 自己教師 / データセット
研究実績の概要

本研究の目的は,手話認識システム開発において,少量のラベル付き手話データでも高い精度が得られる自己教師あり学習の手法を適用し,手話認識システムを開発することである.
本研究を遂行するにあたって,音声認識で行われている自己教師あり学習の手法を参考にする.本研究ではMeta社が開発したdata2vecをベースに開発する.
まず,本研究室が所有する手話動画データをGoogle社が公開しているMediaPipeを使って姿勢推定を行う.そこで得られた関節点などのキーポイントの座標を取得し,これを学習用データとした.
今年度の研究では,data2vecが手話認識にも有効であるかどうかを判断することから始めた.しかし今回の研究では,はっきりと有効であるかどうかの判断ができなかった.これは,data2vecをベースに構築したが,これが手話認識に合わなかったのか,それとも本研究室が所有する手話動画のデータセットでは,データ数が十分だったのかが判別できなかったためである.実験に使用した手話データは,単語や手話文をあわせて,約27,000個であった.そのため自己教師あり学習にはデータ数が足りなかった恐れがある.
日本手話の深層学習向けのデータセットは公開されているものが少なく,海外の手話データセットに比べて貧弱である.まずは海外手話のデータセットを用いて自己教師あり学習の有用性を確認し,並行して日本手話のデータセットを構築する.

現在までの達成度 (区分)
現在までの達成度 (区分)

4: 遅れている

理由

概要でも述べた通り,現状では主だった成果が上がっていない.システムが悪いのか,それともデータセットが少ないのが悪いのか,まずはその原因を究明する必要がある.

今後の研究の推進方策

まずは,データセットとして充実している海外手話のデータセットを用いて,システムの構築を図る.
それと並行して日本手話のデータを収集して,システムに利用し,検証する.

次年度使用額が生じた理由

計上していたクラウドサーバーが,想定していた以上に現状では低価格となっている.これは,学内で新たにAIサーバーが導入され,それを利用できたことに由来する.
また,動画収集であるが,これについては,現在,どのような動画を用意すると効率よくできるのかを打ち合わせており,動画収集費用はR6年度に繰り越した.

  • 研究成果

    (6件)

すべて 2023

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (4件) 図書 (1件)

  • [雑誌論文] Dynamic Hand Gesture Recognition for?Human-Robot Collaborative Assembly2023

    • 著者名/発表者名
      Kwolek Bogdan、Shinji Sako
    • 雑誌名

      22nd International Conference on Artificial Intelligence and Soft Computing

      巻: 1 ページ: 112~121

    • DOI

      10.1007/978-3-031-42505-9_10

    • 査読あり
  • [学会発表] OCRを用いた「やさしい日本語」翻訳アプリの開発に関する研究2023

    • 著者名/発表者名
      細田 梓,三浦 哲平
    • 学会等名
      情報処理学会アクセシビリティ研究会
  • [学会発表] 読唇を用いた日本手話の映像データにおける口型認識2023

    • 著者名/発表者名
      梅田 唯花,酒向 慎司
    • 学会等名
      情報処理学会第86回全国大会
  • [学会発表] 3次元データに基づく手話の時間的構造に関係する呼吸の推定2023

    • 著者名/発表者名
      笠間 健太郎,酒向 慎司
    • 学会等名
      情報処理学会第86回全国大会
  • [学会発表] ディープ・ラーニングを用いた手話認識に関する研究 ~ 2単語文と手話辞書構造を導入したConformerによる認識 ~2023

    • 著者名/発表者名
      池田 康希,木村 勉
    • 学会等名
      電子情報通信学会福祉情報工学研究会
  • [図書] しゃべるヒト ことばの不思議を科学する2023

    • 著者名/発表者名
      菊澤律子,吉岡乾 編.酒向 慎司他
    • 総ページ数
      326
    • 出版者
      文理閣
    • ISBN
      978-4-89259-924-8

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi