高い判読性と伝達性を兼ね備えた専門用語のための手話新語の作成支援
| Project/Area Number |
21K18481
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
福井 和広 筑波大学, システム情報系, 教授 (40375423)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井野 秀一 大阪大学, 大学院工学研究科, 教授 (70250511)
加藤 伸子 筑波技術大学, 産業技術学部, 教授 (90279555)
|
|---|
| Project Period (FY) |
2021-07-09 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 手話 / 動画像認識 / テンソル解析 / 判読性 / 伝達性 / 新語作成 / コミュニケーション / 聴覚障害者 |
|---|
| Outline of Research at the Start |
手話体系の複雑な関係性を，各手話の手形状・動きが表す視覚情報とその言語的な意味情報という異なる側面から３次元的に捉えた2種類のマップ：手話形状マップと手話意味マップを構築する．前者は手話間の手形と動きの類似性を反映したマップであり，後者は手話間の意味関係を反映したマップである．これらのマップ上で手話新語と関連手話の幾何学的な関係性を解析することで判読性と伝達性を評価する．判読性は手形状マップ上で手話新語が関連手話群からどの程度離れているかに基づいて評価する．伝達性は手話形状マップと手話意味マップの局所構造の類似度に基づいて評価する．最後に得られた特性に基づいて新語候補の優劣を自動判定する．
|
| Outline of Annual Research Achievements |
本年度は最終年度に行う３次元手話形状マップと3次元手話意味マップの統合・比較に向けた基盤技術について以下の研究実績を得た．
1) 昨年度に開発した相互部分空間法に基づく手話形状・動き類似度の算出法に対して，大幅に性能向上させたSlow feature analysisに基づく類似度算出法を考案した．本方法のコアとなるアイデアはSlow feature 部分空間である．従来の動画像列からハンケル行列を用いて生成する部分空間に比べて，Slow feature部分空間は手話動画像の持つ詳細な情報を一定サイズのベクトルセットとしてコンパクトに表現することが可能である．公開手話データベース(Chinese sign language dataset (CSL), 500手話ｘ50人, 25000動画像）を用いた評価実験により，その高い表現能力と従来法に対する高い識別性能(73.1%)を確認した．
2) 上記のSlow feature 部分空間に基づく方法に関する研究成果を，査読付論文雑誌 Machine Learning with Applicationsに投稿し，２回目の査読に向けて追加実験および論文修正を行った．
3) 手話形状・動き類似度の算出についてグラスマン多様体を用いた方法を考案し，その高い表現能力を確認した．研究成果は査読付論文雑誌 Neurocomputing から出版された．
4) これまで用いていた工学院データベースの被験者は2名のみであり，形状と意味マップの比較に適した用語も限定されている．そこでPublic LIBRAS dictionaryから選んだ28単語について，数名から手話動画を収集し，予備検討を行った．これに基づいて，日常的に手話を使用している筑波技術大の学生を対象にしたデータ収集の研究倫理申請を行った．現時点で申請は既に承認されており，データ収集を開始している．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
３次元手話形状マップに関しては基盤方式の開発は予定通り進んでいるが，意味マップに関しては評価に適切な用語を含む既存の公開手話データセットが存在しないことが判明し，改めて独自に収集する必要が出てきた．これらのデータセット整備の遅れにより，全体的に遅れている．
|
| Strategy for Future Research Activity |
現在，既に開始している筑波技術大の学生を対象にしたデータ収集を早急に完了し，評価データベースを構築する．本データベースを用いて，開発済みの手話形状・動き類似度の算出法による手形状マップの精密化を図る．そのうえで，手形状マップと意味マップと対応付けを行い，その幾何関係に基づいて手話用語としての妥当性を評価する．
|
Report
(2 results)
Research Products
(1 results)
