2023 Fiscal Year Annual Research Report
手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識
| Project/Area Number |
19K11411
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 手話認識 / 指文字認識 / データグローブ / 深層学習 / 手話書記法 |
|---|
| Outline of Annual Research Achievements |
最終年度は、これまでに開発してきた連続指文字システムを手話認識に発展させるため、ろう・難聴者間の手話会話で使用される片手手話に着目し、車の運転シーンを想定して、使用される可能性の高い片手手話単語や短文を選定した。更に、それらについて、ろう・難聴者を対象としたアンケート調査を実施し、自然で受け入れやすいものであるかを評価した。その後、手話認識を目的としたデータセットにおけるアノテーションルールについて議論した。また、手話言語の特徴的な表現を分析し、手話の書記化に本質的と考えられる機能を明らかにした。これらを通して、片手手話認識の基盤を構築することができた。これらの成果は、国際学会で研究発表論文として採択された。
研究期間全体を通じて、手指を動かして提示する「動的指文字」の識別から、連続して指文字を提示する「連続指文字」の認識、そして手話認識へと段階的に発展させてきた。動的指文字の識別では、データグローブを用いて手の位置、向き、手指の形状、及び動き情報を安定して取得する方法を確立し、平均識別率70.0%を達成した。連続指文字の認識では、データグローブの改良、手話単語の選定、連続指文字データ採取実験を実施し、CNNとLSTMを組み合わせたモデルで92.1％の認識率を達成した。これらの成果は、国際ジャーナルに採択された。
次に、手話認識に向けて、Bluetoothを用いたケーブルレスのセンサグローブを開発し、自然な手話データの取得を可能にした。また、手話認識用データ採取実験のための新たな実験プロトコルを作成した。これらの成果と最終年度の片手手話認識の基盤構築により、実用的な手話認識システムの実現に向けて大きく前進したと考える。本研究の一連の成果は、手話認識技術の発展に寄与するだけでなく、ろう・難聴者のコミュニケーション支援や社会参加の促進につながり、生活の質の向上への貢献が期待される。
|
