| Project/Area Number |
23K11197
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Nagoya Institute of Technology |
|---|
Principal Investigator |
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 手話 / 全方位カメラ / 手話認識 / ボディトラッキング |
|---|
| Outline of Research at the Start |
手話者視点の全方位カメラによって手話者の身体動作を追跡するポーズ推定技術を核とし、それに基づいた手話対話を支援するための新たな手話認識技術と、手話対話における空間的情報をくまなく記録する新たな手法の実現を目的とする。手話者の視点から得られる空間情報と手話者の身体動作情報を活用することで、文レベルの手話認識だけでなく、対話の相手とのインタラクションや対話理解の支援が可能となり、聴覚障害者が自ら積極的な意思疎通を行うための支援システムの実現に寄与する。この技術は、手話の身体動作だけでなく手話者本人の視点や指差し方向など空間全体の情報を簡便なデータ化に貢献し、言語資源の蓄積にも寄与するものである。
|
| Outline of Annual Research Achievements |
全方位カメラによる歪みのある映像から、複雑な手指の動作を含んだ上半身の3次元ポーズを推定する技術について、既に提案済みの基礎技術をさらに発展させるアルゴリズムについて検討を進めた。これにより、一人称視点映像によるボディトラッキングの高度化と、手話認識以外への応用についても検討を進めることができた。また、これまでに申請者らが作成した手話データベース[14]を用いて、手話の身体動作の自然性に関する調査を目的として、手話のリズムに着目した呼吸状態の取得方法について検討し、手話のモーションデータから部分的ではあるが呼吸情報が取得できることが示された。その他、手話認識やその技術を支える手話コーパス拡張を念頭においた手話データベースへのアノテーション自動化の取り組みとして、手話の非手指情報（マウジング・マウスジェスチャ）の分類や検出について初歩的な検討を行い、手話の表現におけるマウジングの表出パターンなどを調査することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全方位カメラによる歪みのある映像から、複雑な手指の動作を含んだ上半身の3次元ポーズを推定する技術について、既に提案済みの基礎技術をさらに発展させるアルゴリズムについて検討を進め、国際共著論文による国際会議発表を行った。また、これまでに申請者らが作成した手話データベース[14]を用いて、手話の身体動作の自然性に関する調査を目的として、手話のリズムに着目した呼吸状態の取得方法について検討した。その他、手話認識やその技術を支える手話コーパス拡張を念頭においた手話データベースへのアノテーション自動化の取り組みとして、手話の非手指情報（マウジング・マウスジェスチャ）の分類や検出について初歩的な検討を行った。これらの取り組みについて情報処理学会全国大会にてそれぞれ研究発表を行った。
|
| Strategy for Future Research Activity |
本申請技術は手話者の3次元身体動作を推定するため、その結果から任意視点の対面カメラによる映像を生成することが可能である。従って、対面撮影のデータを前提に構築された既存の手話認識の学習モデルを活用したモデル学習方法を導入することで、一人称視点映像による手話データを大量に収集することなく、既存の手話認識の学習モデルと組み合わせて手話認識を行う方法について検討する。実験データや学習済みモデルが公開されている海外の研究事例を活用し、既存の対面映像を想定した手話認識モデルに対して、一人称視点映像から仮想的な対面映像に変換することで、既存の学習モデルを用いた手話認識が可能であることを実験によって検証する。また、一人称視点映像による3次元身体動作の追跡技術を応用し、手話の対話シーン全体を効率的に記録するプロトタイプシステムを開発し、試験的に実環境でのデータ収集についても検討を進める。
|
