2021 Fiscal Year Annual Research Report
Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies
| Project/Area Number |
20H01262
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
バイティガ ザカリ 沖縄工業高等専門学校, メディア情報工学科, 准教授 (40462155)
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 日本手話 / 非手指要素 / 欠損があるベクトル / 映像検索 / 手話データ |
|---|
| Outline of Annual Research Achievements |
現在のコロナ禍による、手話熟達者から直接、語の動作を得ることが難しい状況を鑑み、既存の映像内の該当データを活用することや、研究計画内の解決すべき小課題の順序を入れ替え、主に次の4テーマを推進した。
1. 会話映像の記録と蓄積：ここまでの撮影環境の設計を受け、新型コロナウイルス感染症の状況を勘案し、自然会話風景の撮影機会に恵まれていない。そこで、いったん研究者らの環境内で撮影可能な手話会話風景を、複数台の高解像度カメラを設置し10時間程度記録、蓄積した。
2. 映像内の言語要素の自動認識：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeというAIライブラリを活用し、映像内の人ごとに言語要素を特徴付けるための3次元位置を推定し、データ化した。言語要素のなかで、手指要素については他課題でも策定しており、そのまま活用している。非手指要素については、眉や口の動き、顔の傾きなどを、認識情報からモデル化した。たとえば、眉の動きについては、左右で眉部分を眉頭から眉尻へのベクトルの単位時間当たりの相対的変化で捉えることができる。
3. 欠損がある時系列ベクトルに基づいた情報検索技術開発：2のようなかたちでモデル化された手話要素の情報検索は、認識もれがある、つまり欠損がある時系列ベクトルに対する処理に帰着される。今年度はナイーブな方法で、単位時間ごとのベクトル間のコサイン類似度の蓄積で定量化する方法を実装した。検索キー映像、対象映像ともに同じ時間ペース、同質映像では、安定的な精度が得られる。一方、処理時間が長く、計算資源も不効率である。
4. 手話学習メディアなどからの手話会話映像の活用：手話の自然会話を直接撮影する以外にも、さまざまなメディアに存在する手話会話を、本課題に活用する。さらに、今後の手話研究への新展開の端緒とする可能性について検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
課題申請時の、手話の自然会話のデータについては、新型コロナ感染症の状況が改善されず、本来的な記録はできていない。そのため、今年度は、他の代替への方法論も追求した。代替的な側面はおおむね順調である。
|
| Strategy for Future Research Activity |
研究実績の概要1,4に記述したような代替の検討を行っている。データ量という観点では本課題の目標を充足できる可能性は高い。新型コロナウイルス感染症の状況が改善された際に、速やかに当初の記録環境等が構築できるよう、並行してもともとの方法論についても検討を進める。
|
