2022 Fiscal Year Annual Research Report
手話コーパス，深層学習向けラベル付き手話データ半自動生成システムの開発
| Project/Area Number |
22H00661
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
三浦 哲平 豊田工業高等専門学校, 情報工学科, 助教 (20964307)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 手話認識 / アノテーション / 教師データ / 深層学習 / Conformer |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，深層学習を用いた手話翻訳システムの開発に必要なアノテーション済みの教師データを半自動的に生成するシステムを作成することである．
手話翻訳システムの開発には，手話コーパスの構築や教師あり学習による深層学習向けのアプリケーション済みデータが大量に必要であるが，アノテーションを行うに手間がかかる．そこで本研究ではラベルがない手話動画に対して，アノテーションを半自動的に行うシステムを開発・公開する．このシステムはアノテーション前の教師データに対して，程度認識が可能な手話認識エンジンを用いて，認識できる単語にはラベル付を行い，認識ができなかった単語は人手でラベル付を行う．
本年度は，コアとなる手話認識エンジンとGUIの設計を行った．手話認識エンジンはConformerをベースとしたネットワークを作成し，学習を行わせている．現在，手話技能検定試験 4級レベルの手話文に対して，約80%程度の認識率を得ている．しかし，教師データは約5,000個であり，そこに含まれる単語は，4級までのすべての単語を含んではいないため，認識できる単語には限りがある（４級までに含まれる約800語彙のうち150語彙程度）．そのため，現状ではアプリケーションに組み込むには貧弱である．今年度は教師データを増やして，認識できる語彙数を増加させる．
GUIに関しては基本的な構成の設計を終えており，レビューをした後，手話認識エンジンを組み込んで，試作を行う．
また，手話翻訳システムが完成した後のアプリへの応用も検討している．具体的には，ウェアラブルな全方位カメラを用いた翻訳システムの開発である．これを用いて日常的に手話翻訳システムが利用できることを目指している．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルス感染症のため，教師データの撮影が進まなかったのが，主な原因である．しかしながら，手話認識エンジンの開発は当初の予想より，認識率の高いものができた．
|
| Strategy for Future Research Activity |
今年度はオンラインで，広く教師データを収集する予定で，多くのデータを収集できると考えている．
GUIに関しても基本設計が終わっただけで，試作システムとしても稼働ができていない．認識できる語彙数は少ないが，手話認識エンジンが出来上がっているので，これを組み込んで，試作システムを開発し，検証を行う予定である．
|
-
-
-
[Book] しゃべるヒト2023
Author(s)
菊澤律子、吉岡乾
Total Pages
326
Publisher
文理閣
ISBN
978-4-89259-924-8
