手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識
| Project/Area Number |
19K11411
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 59010:Rehabilitation science-related
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
白石 優旗 筑波技術大学, 産業技術学部, 准教授 (00389214)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 手話認識 / 指文字認識 / データグローブ / 深層学習 / 手話 / 認識 / 指文字 |
|---|
| Outline of Research at the Start |
本研究では、聴覚障害者と健聴者との円滑なコミュニケーションの達成のため、手話を認識するシステムの実現に取り組む。
手話を認識するためには、手の位置、向き、手指の形状、及び動き情報が最低限必要である。これらの多次元時系列情報を、データグローブを用いて取得する方法を採用する。
具体的には、手話認識を多次元時系列データに対する識別問題とみなし、一次元時系列データに対する識別手法である音声認識手法を拡張する。その際、識別手法には深層学習を採用する。更に、音声言語とは異なる手話言語の特徴を考慮した認識手法の確立を試みる。
|
| Outline of Annual Research Achievements |
2022年度は、これまでの連続指文字認識システム実験の成果について国際ジャーナルへ投稿し、採択された。また、これまでに開発してきた連続指文字システムを手話認識に発展させるため、センサグローブの改良を行った。さらに、手話認識用データ採取実験のために、新たな実験プロトコルを作成し、筑波技術大学倫理審査委員会の承認を得た。
これまでに開発してきたセンサグローブは、USBケーブルでPCに接続しデータ採取する必要があり、実験参加者が自然な手話をしづらく、データにノイズが入ることがあった。今回、Bluetooth 5.0を使用し、ケーブルレスでPCやスマートフォンと接続するシステムを実現することで、自然な手話データの取得が可能になった。組込みボードには、IMU（6軸加速度）が内蔵されているTensorFlow Lite対応のSeeed Studio XIAO nRF52840 Senseを採用した。また、左利きのユーザや両手を用いる手話表現に対応するため、左右両方のデータグローブを製作した。
日本手話には約5,000語の単語があると言われており、全ての単語データを収集するのは非常に困難である。また、単一の単語の表現する場合と、複数の単語からなる文章を表現する場合では、文章表現における単語間の連結作用により単語表現が一部異なる。本研究では、手話認識を使用する環境を限定し、その特定環境でよく使用される手話を対象としたデータ採取を行う。これにより、当該環境で実用的な手話認識システムが実現できることが期待される。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルスの影響で、実験機器を用いたデータ採取実験に遅れが生じたため。
|
| Strategy for Future Research Activity |
まずは、筑波技術大学倫理審査委員会の承認を得た手話認識用データ採取実験プロトコルに基づき、実際にデータ採取実験を行う。次に、これまでの連続指文字認識システムを改良し、手話認識システムを構築する。その際、手話言語の特徴を考慮した認識モデルを構築することで、高精度の認識性能の実現を目指す。さらに、リアルタイムで動作するデモシステムを構築する。
|
Report
(4 results)
Research Products
(8 results)
