2018 Fiscal Year Research-status Report
Verification of Constituents in New Sign Linguistics
| Project/Area Number |
18K18518
|
|---|
| Research Institution | National Museum of Ethnology |
|---|
Principal Investigator |
神田 和幸 国立民族学博物館, 人類基礎理論研究部, 外来研究員 (70132123)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
木村 勉 豊田工業高等専門学校, 情報工学科, 教授 (80225044)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | 手話認識 / 新手話学 / 像素 / 描素 |
|---|
| Outline of Annual Research Achievements |
新手話学の構成素として像素と描素を提案。基本概念を手話コミュニケーション研究会と福祉情報工学研究会で発表した。従来の手話学の創始者ストーキーの理論を再検証し、彼以降、仮説的に検証されてきた音素と形態素という構成素は音声言語の研究成果を敷衍したものであるから、視覚言語である手話研究では齟齬を生じることが多かったことの原因解明のヒントを得た。とくに工学的視点からの分析に適合できないことも多く、手話の機械認識や自動翻訳装置開発に障害が大きかった。本研究は工学にも適用しやすい構成素を提案し、実証することを目的としているが、まず演繹的視点からの提案として像素を提案、これまでの研究成果から手話の重要な要素が運動にあることに着目、運動が運動体と軌跡と速度の３要素からなると考えた。その像素が構成する意味単位として形態素ではなく、描素を提案、CLと呼ばれる手型が手話動詞の語幹であるという過去の研究成果に基づき、描素がＣＬと運動から成ることを仮説として提案した。その仮説の検証として、手話ビデオを工学的に検証する方法としてモーションキャプチャによるデータとOpenPoseなどの光学的データによる分析を開始し、初年度としては基本的な101語について検証した。また分担者との協働により、深層学習システムを用いて手話の自動認識実験を行い、101単語の総計7,763個のデータを用いて認識実験を行い、約75%の認識率を得た。深層学習ではどの要因が決定的であったのか不明だが、誤答となった類似手話を分析することでその要素を探ることができると考え、次年度の研究課題とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
新手話学を草案するにつき、伝統的手話学の鼻祖であるW.Stokoeの著作を再検証した。そこで音声言語の構成素に拘らないことの重要性がヒントとなった。そこでこれまでの工学的研究成果を元に新たな構成素の創案を検討し、像素と描素の着想に至った。手話では運動が重要な要素であるが、従来の枠組みでは明快な分析が示されてこなかったため、新案では運動を核とした像素を設定、像素が結合して得られる描素は手型が語幹、運動が変化部分という手話動詞の特徴を生かした枠組みを設定した。一方、この枠組みを実証するための検証として、手話の運動の工学的分析としてモーションキャップチャと光学的手法を検討し、１つの試みとしてOpenPoseと深層学習を用いて手話の自動認識を行った。自動認識実験では101単語、7,763個のビデオデータを深層学習を用いて学習を行い約75%の認識率を得た。
|
| Strategy for Future Research Activity |
手話の自動認識において認識率が低かった手話は動作がよく似た類似手話であることがわかったので、それらの語彙について、新手話学の観点から分析してみることにした。幸い同一手話についてモーションキャップチャのデータとOpenPoseのデータが得られているので、それらを比較することで、何が誤答の原因かを探り、手話の本質的な特徴を抽出でき、それらを教師データに組み込むことでさらに精度が高まると予想している。それはまた新手話学の枠組みを実証することにつながると考えている。
|
| Causes of Carryover |
本年度は過去に取得したデータを活用したため、人件費・謝金及びその他の支出がなかった。また手話録画のための環境調査として就労状況調査と手話動画収集のための環境整備が主体であったが、次年度は本年度成果を基礎として、新たなデータ収集が必要であり、そのための謝金及び委託金等が必要になる。
|
