視覚障害学生のためのグラフ等の図版文字化システム

• 研究課題/領域番号: 23K11376
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分62030:学習支援システム関連
• 研究機関: 金城大学
• 研究代表者: 川邊 弘之 金城大学, 人間社会科学部, 教授 (60249167)
• 研究分担者: 下村 有子 金沢大学, 設計製造技術研究所, 研究協力員 (70171006) ; 瀬戸 就一 金城大学短期大学部, ビジネス実務学科, 教授 (90196973)
• 研究期間 (年度): 2023-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円); 2025年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2024年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円); 2023年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
• キーワード: 深層学習 / 文章生成 / 画像認識 / 全盲学生 / 学生支援

研究開始時の研究の概要

全盲学生は大学に入学すると、教科書、参考書など多くの点字の本が必要になる。我々は深層学習を利用して、学生点訳ボランティアが容易に使える点字への翻訳システムを構築したが、図版、特にグラフの説明の文字化が未着手であった。
表の読み上げ機能は既に実用化されているが、グラフではそのタイトルの提示程度で、示された内容の解説がなされていない。本研究では図版、特にグラフの解説文の作成に深層学習を導入する。深層学習をグラフの内容を文章化する部分に適用する。そして、我々の点字翻訳システムをグラフの読解に対応させ、全盲学生が健常学生と同等に学修できるようにする。