| Project/Area Number |
20K20848
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
|
|---|
| Project Period (FY) |
2020-07-30 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2021: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2020: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 日本手話 / 手指・腕形動作 / 動作類語 / 姿勢・手指形推定 / 奥行き / 動的計画法 / ダイナミックタイムワーピング距離 / 欠損があるベクトル表現 / 単純語 / 手指動作 / 類語 / 画像認識 / 言語処理 |
|---|
| Outline of Research at the Start |
日本手話において手指動作が似ている単語（手指動作類語）は多くある．しかし，手指動作類語に関する網羅的な資料は作られていない．なぜなら，動作が似ている組み合わせに何かしらの必然性があるわけではなく，一から動作を確認していくにも，その組み合わせは膨大（単語が千オーダのとき組み合わせは百万オーダ）だからである．そこで本研究は，画像認識や言語処理といった情報技術を巧みに導入し，次のような特徴を備えた手指動作類語を効率的に編纂する．編纂する辞書は類語の網羅性に加え，類語の組み合わせごとに，動作が似ているながらもとくに異なる点はどこか，錯誤が起こりやすい文脈といった情報も提示する．
|
| Outline of Annual Research Achievements |
前年度までの成果を併せ、今年度は主に次の2テーマを重点的に推進した。
1.手話表現間の類似度計算と類似表現検索：前年度よりダイナミックタイムワーキング(DTW)距離に基づいた高速な類似度計算法を導入している。今年度は2022年前半期に導入した特徴量（手の形・手のひらの向き・肩を基準とした手首の相対的な位置・肩を基準とした肘の相対的な位置）にくわえ、肩を基準とした手首と肘の位置の単位時間当たりの変化分、それぞれの加速度も考慮した構成を施した。実験の結果、十分な精度が得られず、特徴量の再構成の必要が示唆された。現時点では、2022年前半期に採用した素直な構成の方が有効と考えている。いったんその構成に立ち戻り、現在、捨象している個人間の表出速度の違いの問題に対応できるような前処理を施したうえで、DTW距離に基づいた方法を融合する方向性を確認した。
2.類似表現に関する実験評価法の策定：動作類語の検出のための実験をどのように評価するか、今後、継続的な研究でも基準とし得るような枠組みの策定を行った。動作類語の検出に対する評価は、情報検索同様、適合率・再現率、それらを総合したF値がわかりやすく、一般的な指標と考えられる。当然のことながらこれらの指標の真値を直接推定することはできないので、テストセットのようなものの策定が求められる。後続研究でも利用できる、ベースラインとすべきデータの選定や、実際にそれらのサブセットに複数名で類似判定を試行するなどし、評価基準の検討をおこなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
高精度で、高速な手話表現間の類似性判定を実現できておらず、最終成果物の動作類語辞書を編纂できていない。
|
| Strategy for Future Research Activity |
特徴量を過年度のものに戻し、高速化した上で、類似性判定および動作類語辞書の編纂と、併せて実験評価を行う。
|
