| Project/Area Number |
18K11595
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Nagano National College of Technology |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 祥一 長野工業高等専門学校, 電子情報工学科, 准教授 (10369978)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2018: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | ウェアラブルデバイス / 聴覚障害 / 指文字 / 手話 / 三次元モデル / 学習支援 / 拡張現実 / 複合現実 / 聴覚障害者 / モーションキャプチャ / ハンドトラッキング / 認識 |
|---|
| Outline of Final Research Achievements |
The purpose of this study is to implement a function to learn not only fingerspelling but also sign language words using a wearable device. In addition, we also tried to implement a function to recognize and visualize the other fingerspelling. For sign language words, the main problem was how to easily create 3 dimensional models of sign languages, and we created several types of 3 dimensional models. For the recognition of fingerspelling, we tried two different methods and succeeded in recognizing a lot of fingerspelling using the functions of the wearable device. The fingerspelling that could not be recognized had common features, and one of our future works is needed to consider recognition methods for these fingerspelling. We have not yet verified the learning efficiency of the wearable device during the period of this study.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では，メガネ型のウェアラブルデバイスを使い，指文字の学習だけでなく，手話の学習もおこなえる機能の実装を試みた．これは，両手が自由に使えるメガネ型ウェアラブルデバイスを使う最大の利点であり，これまでにないデバイスの利用方法であると言える．また，本研究では，実際に聴覚障害者の方にデバイスを装着してもらい，ウェアラブルデバイスを装着しての学習の有用性について意見をもらっている．さらに，ろう学校の指導的な立場の方からの意見で学習者自身が指文字や手話を使えることも大事だが，相手の指文字や手話を正しく理解できるようになることも大事であるという意見もあり，指文字の認識についての実装に至っている．
|
