2022 Fiscal Year Annual Research Report
Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies
| Project/Area Number |
20H01262
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
バイティガ ザカリ 沖縄工業高等専門学校, メディア情報工学科, 准教授 (40462155)
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 日本手話 / 手話会話映像 / ダイナミックタイムワーピング距離 / 日本手話上の表現間の共起性 / 日本語上の内容語間の共起性 / 共起性の代替 |
|---|
| Outline of Annual Research Achievements |
コロナ禍による手話会話の撮影困難が続いたため、研究計画内の解決すべき小課題の順序を入れ替えたり、代替する計画を立案したりして、主に次の3テーマを推進した。
1.DVDなどの手話会話映像の収集と蓄積：前年度同様、新型コロナウイルス感染症の懸念から、本課題が当初計画していたような、手話熟達者が多く集まる場での自然会話風景の撮影機会に恵まれていない。そこで、いくつかの聴覚障害者情報提供施設の協力も得て、テキストのDVDなど、すでに記録されている手話会話映像を蓄積することも始めた。著作権上の問題もあるため、研究グループ内でも安易に共有することはかなわないものの、ゆうに50時間人を超える手話映像が蓄積された。これまで開発したプログラムで、それら映像内の主に手指腕部に関する認識情報が与えられている。
2.動的計画法に基づいた手話表現の検索手法：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離と、その経路を見出す方法を、手話表現の検索に導入した。これまでの手指要素に対する欠損を含むベクトル表現と境界条件を改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善している。
3.日本手話の内容表現間の共起性の代替：手話検索の際、キー手話表現xが認識上の問題で、うまく検索できない場合がある。そういったとき、共起的にxを導く、つまり「手話表現yが出ると前後、高い確率でxが出現する」、そういうyを使って代替的に検索する方法を提案している。このxとyの共起性に帰着される関係を手話表現から直接得るのは、データが過疎な現状では難しい。そこで、日本手話の内容語間の共起性を、日本語で近似する。実際に手話テキスト上の日本手話データと、日本語コーパス上のデータでその関係性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
映像データ内の手話表現を検索する仕組みが、実用的な時間、精度で実装できていない。また、共起性を利用した検索についてもその前提を確認した段階である。
|
| Strategy for Future Research Activity |
映像データの体系化、検索のための仕組み全般を実装し、目標としているシステムに統合する。現在は自グループだけがわかるかたちでプログラム等整備されており、公開のための整形等も進める。このように、残された課題を計画通りに推進する。
|
