Development of a learning system for fingerspelling alphabets in a sign language as an integrated study of SLA, CV and NLP
| Project/Area Number |
17K18678
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Research Field |
Education and related fields
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
|
|---|
| Project Period (FY) |
2017-06-30 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2018: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2017: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 日本手話 / 指文字 / 学習システム / 第二言語習得 / コンピュータ・ビジョン / 自然言語処理 / 誤り分析 / 多変量解析 / くずれ / 類型 / クラスタ分析 / 手指形状 / 手指形状データ / 手話 / コンピュータビジョン |
|---|
| Outline of Final Research Achievements |
In this project, a web system was developed to learn fingerspelling alphabets in Japanese sign language. First, data pertaining to the shapes of fingerspelling alphabets were recorded. Subsequently, factors of error were identified by analyzing the data. These factors encompass similarities between shapes without several features as well as features such as learning order. Furthermore, the results were utilized to propose a novel classification scheme and compile a new learning textbook. Thus, this project integrates the application of second language acquisition (SLA), computer vision (CV), and natural language processing (NLP) in the field of fingerspelling alphabets for sign language.
|
| Academic Significance and Societal Importance of the Research Achievements |
手話のなかでもごく一部の断片ではあるものの、指文字は手話において欠かすことができない。そのような指文字の読取・表出の両面を、自律的に学習できるシステムを開発した。また、今までにないデータ（手指形状、くずれ、誤りなど）を記録、蓄積し、とくに誤り分析では多変量解析に独自の分析法を組み合わせて、誤りの要因を客観的に確認し、誤り抑制に資する教材なども作成した。これらの成果は本システムを使った学習以外の場でも有用である。このように課題名にも含めた3分野の知見が十分に融合し、理論的・技術的議論にとどまらず、手話学習の現場につながる成果の産出につながったことも有意義である。
|
Report
(7 results)
Research Products
(28 results)
