| 研究課題/領域番号 |
20K20848
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| 研究分担者 |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
|
|---|
| 研究期間 (年度) |
2020-07-30 – 2023-03-31
|
| キーワード | 日本手話 / 姿勢・手指形推定 / 手指・腕形動作 / 欠損があるベクトル表現 |
|---|
| 研究実績の概要 |
現在のコロナ禍による、手話熟達者から直接、語の動作を得ることが難しい状況を鑑み、既存の映像内の該当データを活用することや、研究計画内の解決すべき小課題の順序を入れ替え、主に次の3テーマを重点的に推進した。
1.映像内フレームごとの姿勢・手指形情報の推定と取得：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeを活用し、映像内の人ごとに手指・腕動作を特徴付けるための3次元位置を推定し、データ化した。
2.手指・腕動作の特徴量と類似度：1で得られる手指・腕動作にかかわる情報から、手話の手指・腕動作に対する特徴量を与える手続きを示した。これらは、腕形については肩を不動点と考えた手首・肘へのベクトル、手指形については手首を不動点と考えた五指へのベクトルと、掌の向きを表すベクトルで表現される。このように表される左右の手指・腕形のベクトル表現間の類似度は、コサイン類似度で試行した。なお、1の時点で映像に映っていない手指・腕や認識もれがある。したがって、類似度は欠損があるベクトル間のコサイン類似度として定式化しなければならなかった。
3.手指・腕動作の類語抽出の試行：2で提案した特徴量と類似度に基づき、手指・腕動作の類語の抽出に関する予備実験を行った。その結果、「お金」と「トイレ」や、「うらやましい」と「おかしい」といった組み合わせが見出され、有効性が確認された。計算時間や精度の問題が残されている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
姿勢・手指形推定を導入すること、いったん手話の映像を既存のものに求めたことで、手指・腕形の特徴量や欠損があるベクトル間に対する類似度の試行が可能となった。
|
| 今後の研究の推進方策 |
類似度の計算が単純すぎて、対象語が増えた場合、計算時間の観点で現実的ではない。類似度の枝刈りを含めた計算方式や実装時の並列化等の工夫をする。
|
| 次年度使用額が生じた理由 |
日本手話熟達者から手指動作情報を直接得る実験やその準備を、コロナ禍のため実施できなかったことによる。次年度使用額は被験者実験の謝金、成果発表に充当する。
|
