2019 Fiscal Year Annual Research Report

文字認知が困難な児童生徒の公平な学力評価を保証するマルチモーダル問題の開発と評価

Research Project

Project/Area Number	18H01036
Research Institution	Ibaraki University
Principal Investigator	藤芳明生茨城大学, 理工学研究科(工学野), 准教授 (00323212)
Co-Investigator(Kenkyū-buntansha)	小林祐紀茨城大学, 教育学部, 准教授 (20599617) 原田浩司宇都宮大学, 教育学部, 准教授 (40738168) [Withdrawn]
Project Period (FY)	2018-04-01 – 2022-03-31
Keywords	教育工学 / ヒューマン・インターフェイス / 障害者支援 / ユニバーサルデザイン / 文字認知障害
Outline of Annual Research Achievements	本研究の目的は、単元テストから入試に至るまで、文字認知が困難な児童生徒に対する公平な学力評価を実現するため、見えない２次元コードを活用したマルチモーダル問題を開発することである。令和元年度は本研究の２年目であり、前年度に開発したプロトタイプの問題点を解消し、見えない２次元コードと音声ペンを活用したマルチモーダル問題の実証実験を開始した。さらに、マルチモーダル問題の普及を進めるため、制作方法の紹介と制作用機材の提供を全国的に開始した。また、マルチモーダル問題の制作を支援するソフトウェアの開発も進めた。簡単な操作で画像の加工やフォントの入れ替えを行えるPDFドキュメント加工アプリを新たに開発した。見えない２次元コード教材一貫制作システムの文章レイアウト自動解析アルゴリズムの改良に取り組んだ。プロトタイプの問題点を解消し、見えない２次元コードと音声ペンを活用したマルチモーダル問題の実証実験を開始した。最大の問題点は、制作時間がかかりすぎることであった。作業効率化のために前年度開発した作成支援アプリであるが、PCを必要とし、音声編集に手間がかかるなど、問題点があった。そこで、実証実験用のマルチモーダル問題は、音声ペンの録音機能を使って簡易制作することとした。読み上げ音声の作成を朗読ボランティアに依頼すると時間がかかりすぎるため、研究協力校の先生または支援員が自身の声を音声ペンに録音することとした。マルチモーダル問題の制作を支援するソフトウェアの開発も進めた。簡単な操作で画像の加工やフォントの入れ替えを行えるPDFドキュメント加工アプリを新たに開発した。また、PDFドキュメント中の文字のフォントを、レイアウトを崩さずに別のフォントに入れ替えるアプリを開発した。見えない２次元コード教材一貫制作システムの文章レイアウト自動解析アルゴリズムの改良に取り組んだ。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason マルチモーダル問題のプロトタイプの問題点を解決し、見えない２次元コードと音声ペンを活用したマルチモーダル問題の実証実験を開始できたことから、当研究の計画は順調に進んでいると言える。また、制作支援ソフトウェアの開発も順調である。簡単な操作で画像の加工やフォントの入れ替えを行えるPDFドキュメント加工アプリを新たに開発し、Webで公開した。見えない２次元コード教材一貫制作システムの文章レイアウト自動解析アルゴリズムの改良に取り組み、性能向上を果たしている。本研究で得られた研究成果について、国内外の学会において発表を行うとともに、論文発表を行うことができた。2019年7月に国際会議CIAA2019においてグラフオートマトンに関する研究成果を発表し、海外の研究者からも注目を集めることとなった。2019年11月には、第42回ケモインフォマティクス討論会において正規表現拡張SMILESに関する研究成果を発表し、優秀発表賞（若手研究者部門）を受賞した。
Strategy for Future Research Activity	これまでは小学校の単元テストでの利用を中心に研究してきたが、今後は、中学校の定期試験での利用を模索したいと考えている。奈良県のディスレクシアの生徒に対し、マルチモーダル問題を提供することを計画している。