Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies
| Project/Area Number |
20H01262
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 02060:Linguistics-related
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
バイティガ ザカリ 沖縄工業高等専門学校, メディア情報工学科, 准教授 (40462155)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2021: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2020: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
|
|---|
| Keywords | 日本手話 / コーパス / 手話映像検索 / 手話コーパス研究 / 手話会話映像 / ダイナミックタイムワーピング距離 / 日本手話上の表現間の共起性 / 日本語上の内容語間の共起性 / 共起性の代替 / 映像認識・処理 / 非手指要素 / 欠損があるベクトル / 映像検索 / 手話データ / 超高解像度カメラ / 手話検索 / 言語要素 / 記録環境 |
|---|
| Outline of Research at the Start |
視覚言語である手話のコーパス構築は，日本語や英語のような音声言語のコーパス構築とは異なり，映像として記録し，処理する新しい技術が求められる．現時点で話者らの負担が少なく，効率的に蓄積し，低コストで検索まで実現する方法論は確立されていない．
そこで本研究は，超高解像度カメラを配した撮影環境を構成し，多人数の話者がいつものように会話する風景から自然発話を収集し，蓄積する．映像に対して，手指，視線，口型といった手話表現の言語的構成素を自動的に同定する．カメラで撮影した手話表現（キー映像）で直接コーパスを検索できるだけでなく，一般の日本語の言語情報も活用し，キー映像の拡張を提案し，検索精度をあげる．
|
| Outline of Annual Research Achievements |
コロナ禍による手話会話の撮影困難が続いたため、研究計画内の解決すべき小課題の順序を入れ替えたり、代替する計画を立案したりして、主に次の3テーマを推進した。
1.DVDなどの手話会話映像の収集と蓄積：前年度同様、新型コロナウイルス感染症の懸念から、本課題が当初計画していたような、手話熟達者が多く集まる場での自然会話風景の撮影機会に恵まれていない。そこで、いくつかの聴覚障害者情報提供施設の協力も得て、テキストのDVDなど、すでに記録されている手話会話映像を蓄積することも始めた。著作権上の問題もあるため、研究グループ内でも安易に共有することはかなわないものの、ゆうに50時間人を超える手話映像が蓄積された。これまで開発したプログラムで、それら映像内の主に手指腕部に関する認識情報が与えられている。
2.動的計画法に基づいた手話表現の検索手法：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離と、その経路を見出す方法を、手話表現の検索に導入した。これまでの手指要素に対する欠損を含むベクトル表現と境界条件を改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善している。
3.日本手話の内容表現間の共起性の代替：手話検索の際、キー手話表現xが認識上の問題で、うまく検索できない場合がある。そういったとき、共起的にxを導く、つまり「手話表現yが出ると前後、高い確率でxが出現する」、そういうyを使って代替的に検索する方法を提案している。このxとyの共起性に帰着される関係を手話表現から直接得るのは、データが過疎な現状では難しい。そこで、日本手話の内容語間の共起性を、日本語で近似する。実際に手話テキスト上の日本手話データと、日本語コーパス上のデータでその関係性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
映像データ内の手話表現を検索する仕組みが、実用的な時間、精度で実装できていない。また、共起性を利用した検索についてもその前提を確認した段階である。
|
| Strategy for Future Research Activity |
映像データの体系化、検索のための仕組み全般を実装し、目標としているシステムに統合する。現在は自グループだけがわかるかたちでプログラム等整備されており、公開のための整形等も進める。このように、残された課題を計画通りに推進する。
|
Report
(3 results)
Research Products
(23 results)
