2020 Fiscal Year Annual Research Report
Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies
| Project/Area Number |
20H01262
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
バイティガ ザカリ 沖縄工業高等専門学校, メディア情報工学科, 准教授 (40462155)
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 日本手話 / 言語要素 / 非手指要素 / 記録環境 |
|---|
| Outline of Annual Research Achievements |
研究計画に従い、次の3テーマを重点的に推進した。
1. 効率的な記録環境の設計：適当な手話会話環境下において、複数台のカメラを設定する際に、最も適した設置箇所の同定は、後述する言語要素の表出する物理的位置、画角や距離などから割り出されるカメラの撮影可能範囲の幾何的な問題だけではない。実際に撮影した映像内で、手話に関する言語要素がきちんと認識される程度の粒度であること、さらに話者らに与えるカメラによる心的負担の度合いも検討に入れなければならない。今年度は幾何的な問題を解くのみで、認識精度、話者らの負担については検討できなかった。
2. 映像から同定すべき言語要素の策定：手話会話の記録には、手指要素はもちろんのこと、表情や顔の傾きなど非手指要素も欠かすことができない。手話の言語要素自体は従来研究でも十分に議論されている。ここではそれらを確認、整理した上で、現在、手話映像処理で認識エンジンとなっているMediaPipeやOpenPoseで同定する情報で十分か、いったん認識精度は度外視し、検討を行った。顔の認識については、これらのエンジンは顔領域と各主要部位の情報から言語要素をおおむね構成できることが明らかとなった。
3. 言語要素の自動認識のための学習データ作成：いったん、手話テキスト等から得られる、話者のみ、正面を向いた正準的な映像の収集と閲覧に努めた。言語要素を自動認識するための学習データの他に、2で策定された言語要素を再構成できるかどうかの検証等にも利用した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ禍により、実際の撮影実験、それによる検証を行うことができなかった。またそれに伴い、超解像度な記録デバイスの選定も今年度は予定通り、進まなかった。
|
| Strategy for Future Research Activity |
新型コロナ感染症による緊急事態宣言などの影響で、手話のサークル等は軒並み休会しており、手話の自然会話の撮影環境構築は難しくなっている。コロナ禍の状況が落ち着いた際に、安全に撮影等ができる手立ての考案や、通常の撮影ではない、既存の映像資料を活用した代替方法なども検討していく。
|
