2022 Fiscal Year Research-status Report
スマートフォンとAI技術を用いた新しい点字自己学習支援システムの開発研究
| Project/Area Number |
22K12298
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
岡崎 泰久 佐賀大学, 理工学部, 教授 (90253583)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 点字 / 点字学習 / 視覚障害 / カード教材 / セルフラーニング / 物体検出 |
|---|
| Outline of Annual Research Achievements |
本研究は、中途視覚障害者でもスマートフォンを活用できることに着目し、点字を学習するためのセルフラーニングツールとして、スマートフォンを活用する新たな学習環境の構築を行うものである。本年度は、下記に示す通り、研究計画に基づいて、ユーザ支援機能、スマートフォンと連携する点字学習教材の開発、および、個人学習支援環境の研究開発に取り組んだ。
(1)ユーザー支援機能：視覚障害者がスマートフォンのカメラでカード教材の点字を撮影する自動撮影機能の実装、および、ユーザの操作に応じた音声やバイブレーションによるフィードバック機能の実装を行うことで、ユーザ支援のためのインタフェースの構築を行った。
(2)点字学習教材開発：点字指導の専門家から直接意見を伺うインタビュー調査を行うとともに、文献調査による教材分析を行い、入門用のカード教材の試作を行った。さらに、スマートフォンと連携して学習を進めるために、機械学習によるカード教材の点字の教材の学習端末におけるリアルタイム認識の実装を行った。
(3)個人学習支援環境：カード教材を用いた学習のフィードバックを、ユーザ自身がジェスチャにより行うインタラクション機能の実装、特定の点字の学習が行き詰まった場合に、ハミング距離を用いて類似の点字の学習を推薦する学習アドバイスなどの単元アドバイス機能の実装に加え、ユーザが学習を行った際の学習した単元やその単元でのユーザの振る舞いなどの学習記録をサーバに保存する機能の試作を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の計画として、ユーザ支援機能、点字学習教材開発、個人学習支援環境をあげている。下記の通りそれぞれの目標を概ね達成できており、当初の計画通りであると判断した。
（１）ユーザ支援機能：当初の計画通り、視覚障害者がスマートフォンで教材の点字を撮影できる自動撮影機能および、音声やバイブレーションによる学習者へのフィードバック機能の実装を行った。
（２）点字学習教材開発：点字指導の専門家へのインタビューや推薦された文献を用いた教材の検討を行い、入門編としての点字カード教材の試作を行うとともに、YOLOを用いた物体検出技術を用い、スマートフォンでリアルタイムに高精度で点字の認識を行う仕組みを実現することができ、スマートフォンと連携する実用性の高いカード教材を開発することができた。
（３）個人学習支援環境：個人の学習記録として、学習したカードの種類や時間だけでなく、入力ジェスチャの記録を行うことを可能とし、そのデータをサーバに保存することまでの試作を行うことができた。
|
| Strategy for Future Research Activity |
研究計画にしたがって、引き続き点字学習教材の開発を進めながら、個人学習支援環境、および学習管理機能の実装を行っていく。次年度後半にはAI活用型適応指導の実現に向けた専門家知識の分析・モデル化にもとりかかる予定である。
|
| Causes of Carryover |
全体として当初計画より経費を節約することができたため、次年度使用額が生じた。その額は次年度の研究計画に影響を与えるものではなく、当初の研究計画に沿って予算執行を行っていく。
|
Research Products
(2 results)
