| 研究課題/領域番号 |
20K20848
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| 研究分担者 |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
|
|---|
| 研究期間 (年度) |
2020-07-30 – 2024-03-31
|
| キーワード | 日本手話 / 手指・腕形動作 / 姿勢・手指形推定 / 奥行き / 動的計画法 / ダイナミックタイムワーピング距離 |
|---|
| 研究実績の概要 |
前年度に行った研究小課題の順序の入れ替えに基づきつつ、今年度は主に次の3テーマを重点的に推進した。
1.姿勢・手指形推定情報の奥行きの信頼性検証：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeを活用し、映像内の人ごとに手指・腕動作を特徴付けるための3次元位置を推定し、データ化している。3つめの次元（いわゆるz、高さ、深さ）の奥行きはこれまでも、モデル上は組み込みつつも、実験では経験的な精度の不安定さからは省いて行ってきた。実際の手話動作と推定された奥行きを照合し、それらを省いた方が良いこと、本課題の類似動作の検出には大きく影響がないことを確認した。
2.特徴点の変化に基づく手指・腕動作の類似計算モデル：昨年度までの類似計算モデルは、腕形は肩を、手指形は手首を不動点と考え、フレームごとの位置情報として手話表現を捉えていた。今年度、フレーム間の手指・腕動作の特徴点の相対的な移動距離と方向の変化で手話表現を捉え、類似度を計算する枠組みを与えた。昨年度のモデル同様、欠損があるベクトル表現に帰着され、昨年度モデルとは独立で組み合わせも可能である。
3.手話表現間の類似度計算の高速化：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離とその経路を見出す方法を導入した。境界条件を本課題に応じて改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善し、予備データでは計算結果も良好である。今後、評価実験を行う。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
類語辞書を作成する語彙項目に相応するデータ、類似計算モデルと高速な算出法は整備されつつある。語が出現する文脈ベクトルについても、おおむね通常の日本語処理で用いられる方法で充足できると予想している。
一方、すべて語彙項目間での類似度計算などの、実際の計算まで手がかかっていないことが上記評価の理由である。
|
| 今後の研究の推進方策 |
高速化した類似度計算法など、本課題にかかわる基本的な要素技術は出揃ったので、残された課題を計画通りに推進する。
|
| 次年度使用額が生じた理由 |
日本手話熟達者から手指動作情報を直接得る実験やその準備を、コロナ禍のため実施できなかったことによる。類語辞書編纂のための映像データ整備のための謝金、成果発表に充当する。
|
