Investigation on Variations in use of Fingerspelling Alphabet (JSL) combined with Pattern Recognition
| Project/Area Number |
17K02759
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Linguistics
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
Hasegawa Yumi 近畿大学, 生物理工学部, 准教授 (40585220)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2019: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 手話 / 指文字 / パターン認識 / ゆらぎ / 教材開発 / 手指形状 / 誤りデータ / 教材 / 指文字の表出 / 指文字の読み取り / 手指形状のゆらぎ / 読み取り / 表出 / 3次元データ / コンピュータビジョン / 言語学 / 手話（指文字） |
|---|
| Outline of Final Research Achievements |
In this study, we tried to identify the essential or intrinsic shape of each of the 41 fingerspelling letter by the observational point of view (i.e. seeing them with the eyes) and the informational point of view (i.e. using pattern recognition technology). The essential shape here is, for example, what finger and hand shapes make it possible to know that the fingerspelling alphabet "a" is "a". We analyzed the data by OpenPose to estimate the position of the joints of the hands, by Leap Motion, and by some infrared cameras to calculate the distances and directions from the center of the hand to each fingertip. Using these data, we also created a fingerspelling booklet for beginning leaners of Japanese Sign Language.
|
| Academic Significance and Societal Importance of the Research Achievements |
手話を学習している人や、手話をコミュニケーション方法としている聴覚障がい者の指文字のデータを集め、各指文字の本質的な形を明らかにすることができた。その目的を達成する過程で得たデータを使って、初めて手話を学ぶ人が、学習をスムーズにスタートできるように指文字学習小冊子「指文字in JSL」を作成した。複数の写真やイラストが使われているので、手の形をまねやすく、間違えた手の形を覚えてしまわないように工夫されている。また、同じ文字でも人によって少しちがう様子も見ることができ、今までにない教材作りができた。大学の授業や地域の手話サークルで使う予定であり、大学内のみならず、地域での活動にも利用できる。
|
Report
(5 results)
Research Products
(10 results)
