Efficient Compilation of a Comprehensive Synonym Dictionary of Finger-Arm Motion in Japanese Sign Language Using Also Information Technologies
| Project/Area Number |
20K20848
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
|
|---|
| Project Period (FY) |
2020-07-30 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2020: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 日本手話 / 手指・腕形動作 / 姿勢・手指形推定 / 奥行き / 動的計画法 / ダイナミックタイムワーピング距離 / 欠損があるベクトル表現 / 単純語 / 手指動作 / 類語 / 画像認識 / 言語処理 |
|---|
| Outline of Research at the Start |
日本手話において手指動作が似ている単語（手指動作類語）は多くある．しかし，手指動作類語に関する網羅的な資料は作られていない．なぜなら，動作が似ている組み合わせに何かしらの必然性があるわけではなく，一から動作を確認していくにも，その組み合わせは膨大（単語が千オーダのとき組み合わせは百万オーダ）だからである．そこで本研究は，画像認識や言語処理といった情報技術を巧みに導入し，次のような特徴を備えた手指動作類語を効率的に編纂する．編纂する辞書は類語の網羅性に加え，類語の組み合わせごとに，動作が似ているながらもとくに異なる点はどこか，錯誤が起こりやすい文脈といった情報も提示する．
|
| Outline of Annual Research Achievements |
前年度に行った研究小課題の順序の入れ替えに基づきつつ、今年度は主に次の3テーマを重点的に推進した。
1.姿勢・手指形推定情報の奥行きの信頼性検証：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeを活用し、映像内の人ごとに手指・腕動作を特徴付けるための3次元位置を推定し、データ化している。3つめの次元（いわゆるz、高さ、深さ）の奥行きはこれまでも、モデル上は組み込みつつも、実験では経験的な精度の不安定さからは省いて行ってきた。実際の手話動作と推定された奥行きを照合し、それらを省いた方が良いこと、本課題の類似動作の検出には大きく影響がないことを確認した。
2.特徴点の変化に基づく手指・腕動作の類似計算モデル：昨年度までの類似計算モデルは、腕形は肩を、手指形は手首を不動点と考え、フレームごとの位置情報として手話表現を捉えていた。今年度、フレーム間の手指・腕動作の特徴点の相対的な移動距離と方向の変化で手話表現を捉え、類似度を計算する枠組みを与えた。昨年度のモデル同様、欠損があるベクトル表現に帰着され、昨年度モデルとは独立で組み合わせも可能である。
3.手話表現間の類似度計算の高速化：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離とその経路を見出す方法を導入した。境界条件を本課題に応じて改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善し、予備データでは計算結果も良好である。今後、評価実験を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
類語辞書を作成する語彙項目に相応するデータ、類似計算モデルと高速な算出法は整備されつつある。語が出現する文脈ベクトルについても、おおむね通常の日本語処理で用いられる方法で充足できると予想している。
一方、すべて語彙項目間での類似度計算などの、実際の計算まで手がかかっていないことが上記評価の理由である。
|
| Strategy for Future Research Activity |
高速化した類似度計算法など、本課題にかかわる基本的な要素技術は出揃ったので、残された課題を計画通りに推進する。
|
Report
(3 results)
Research Products
(13 results)
