| Project/Area Number |
21K18481
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
福井 和広 筑波大学, システム情報系, 教授 (40375423)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井野 秀一 大阪大学, 大学院工学研究科, 教授 (70250511)
加藤 伸子 筑波技術大学, 産業技術学部, 教授 (90279555)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 手話認識 / 手話新語 / 動画像認識 / 部分空間表現 / 手話 / テンソル解析 / 判読性 / 伝達性 / 新語作成 / コミュニケーション / 聴覚障害者 |
|---|
| Outline of Research at the Start |
手話体系の複雑な関係性を，各手話の手形状・動きが表す視覚情報とその言語的な意味情報という異なる側面から３次元的に捉えた2種類のマップ：手話形状マップと手話意味マップを構築する．前者は手話間の手形と動きの類似性を反映したマップであり，後者は手話間の意味関係を反映したマップである．これらのマップ上で手話新語と関連手話の幾何学的な関係性を解析することで判読性と伝達性を評価する．判読性は手形状マップ上で手話新語が関連手話群からどの程度離れているかに基づいて評価する．伝達性は手話形状マップと手話意味マップの局所構造の類似度に基づいて評価する．最後に得られた特性に基づいて新語候補の優劣を自動判定する．
|
| Outline of Annual Research Achievements |
本年度は以下の研究実績を得た．
１）時空間周波数領域上の部分空間表現に基づく手話動画の認識法を開発した．従来の部分空間に基づく方法では，単純に主成分分析を適用して部分空間を生成するために，時系列情報が識別に反映されておらず，手話認識では高い性能が実現出来なかった．提案法は手話動画に対して3次元高速フーリエ変換を適用して得られる3次元振幅スペクトルテンソルを用いることで本課題を解決した．中国語手話の公開データセットと独自取集した日本語手話データセットを用いた評価実験により，提案法の有効性を確認した．この研究成果は13th International Conference on Pattern Recognition Applications and Methodsで発表し，論文出版した．また電子情報通信学会PRMU研究会において発表し，出版した．
２) Slow feature analysisに基づく手話認識の研究成果が，査読付論文雑誌 Machine Learning with Applicationsから出版された．
３）手話形状マップと手話意味マップの構造類似度を測る方法を開発した．手話形状マップは，グラスマンカーネル主成分分析を用いて生成した３次元固有空間へ手話形状(部分空間)のセットを射影して生成した．手話意味マップは，カーネル主成分分析を用いて生成した３次元固有空間へ手話意味(wordベクトル)のセットを射影して生成した．次に各マップのデータ分布を３次元形状部分空間で表現し，２つの形状部分空間の成す正準角により構造類似度を測った．これにより伝達性を反映した構造類似度が得られることを確認した．研究成果は30th International Workshop on Frontiers of Computer Visionで発表し，論文出版された．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
昨年度，意味マップに関しては評価に適切な用語を含む既存の公開手話データセットが存在しないことが判明し，本年度改めて独自にデータ収集を行った．このデータセット再整備の遅れにより，全体的に遅れを生じている．
|
| Strategy for Future Research Activity |
これまでに開発した手話形状マップと手話意味マップの生成技術，および両者の構造類似度を測る方法を用いた総合評価を行い，本研究を総括する．
|
