手話コーパス，深層学習向けラベル付き手話データ半自動生成システムの開発
| Project/Area Number |
23K21933
|
|---|
| Project/Area Number (Other) |
22H00661 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 02060:Linguistics-related
|
|---|
| Research Institution | National Institute of Technology, Toyota College |
|---|
Principal Investigator |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
三浦 哲平 豊田工業高等専門学校, 情報工学科, 准教授 (20964307)
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2025: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2024: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2023: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2022: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
|
|---|
| Keywords | 手話認識 / 深層学習 / アノテーション / データセット / 半自動 / 手話文章 / ディープラーニング / 教師データ / Conformer / 手話 / 認識 |
|---|
| Outline of Research at the Start |
我々は深層学習を用いた手話翻訳システムを開発しているが，これを実現するには手話認識や意味解析などが必要である．それらには手話コーパスの構築や教師あり学習による深層学習向けのラベル付きデータが大量に必要であるが，ラベル付けには手間がかかる．そこで本研究ではラベルがない手話動画に対して，ラベル付けを半自動的に行うシステムを開発・公開する．
本研究では，このシステムを用いて作成したラベル付き手話データセットを手話言語学研究者や手話工学研究者らに提供し，手話の意味解析や手話認識に関する研究をサポートする．
|
| Outline of Annual Research Achievements |
本研究の目的は，深層学習を用いた手話翻訳システムの開発に必要なアノテーション済みの教師データを半自動的に生成するシステムを作成することである．手話翻訳システムの開発には，手話コーパスの構築や教師あり学習による深層学習向けのアプリケーション済みデータが大量に必要であるが，アノテーションを行うのに手間がかかる．そこで本研究ではラベルがない手話動画に対して，アノテーションを半自動的に行うシステムを開発・公開する．このシステムはアノテーション前の教師データに対して，程度認識が可能な手話認識エンジンを用いて，認識できる単語にはラベル付を行い，認識ができなかった単語は人手でラベル付を行う．
手話認識エンジンについて，今年度は，手話辞書・手話翻訳システムに導入する手話文認識モデルの構造を見直し，認識性能の向上を図った．また，認識モデルへの学習データについても，自然言語処理の2-gramsの考えを導入したデータセットを作成し，認識モデルの学習の影響を調査した．しかしながら，昨年度同様，データセットの数が圧倒的に足りないため，精度が思ったように上がらなかった．
GUIについては，クラウド上で再設計を行い，操作性の向上を図るとともに，手話認識エンジンと連携させる仕組みを用意している．また，手話認識エンジンの応用として，認識結果と動画とともに可視化できるツールの開発も行った．
さらに，手話を正しく認識するには，読唇も必要となる．これは同じ手話でも意味が異なる語があるためである．口型を読み取ることで意味を把握するため，手話認識には読唇の技術も必要となる．そこで，この読唇についても研究を開始した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
日本手話のデータセットが足りないため，思ったように精度が上がらなかった．
また，GUIにいくつか不具合が見つかったため，再設計を行った．現在は，その問題は解決しており，手話認識エンジンと連携をさせて，運用に向けてブラッシュアップを行う．
|
| Strategy for Future Research Activity |
日本手話のデータセットが足りないため，思ったように精度が上がらなかった．
まずは海外の手話データセットを用いて，システム開発を図り，並行して日本手話のデータセットの構築を行う．
|
Report
(2 results)
Research Products
(9 results)
-
-
-
-
-
-
-
-
-
[Book] しゃべるヒト2023
Author(s)
菊澤律子、吉岡乾
Total Pages
326
Publisher
文理閣
ISBN
9784892599248
Related Report
