Support system for teachers to read Braille reports of blind students

Research Project

Project/Area Number	21K02763
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 09070:Educational technology-related
Research Institution	Kinjo College
Principal Investigator	瀬戸就一金城大学短期大学部, ビジネス実務学科, 教授 (90196973)
Co-Investigator(Kenkyū-buntansha)	川邊弘之金城大学, 社会福祉学部, 教授 (60249167) 下村有子金沢大学, 設計製造技術研究所, 研究協力員 (70171006)
Project Period (FY)	2021-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000) Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000) Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords	深層学習 / 点字変換 / 視覚障害学生 / 全盲学生 / 点字翻訳 / 教員支援
Outline of Research at the Start	全盲学生は点字の6点で入力する「表音カナ文」のレポートを提出する。本研究の目的はそのレポートを受け取る教員を支援することである。全盲学生は講義に出席し、教員は成績評価する。全盲学生が一生懸命作ったレポートを教員もしっかり読もうとする。しかし、読みにくい。そのため、我々は教員のために、点字を「表音カナ文」のレポートではなく、「かな漢字混じり文」のレポートに翻訳するシステムを構築する。システムには深層学習を用いる。深層学習は外国語の翻訳にも利用され、好結果を得ている。我々は「点字」から「日本語かな文」に変換する部分、「日本語かな文」から「かな字混じり文」に変換する部分に深層学習を適用する。
Outline of Annual Research Achievements	本研究の目的は点字のレポートを受け取る教員を支援することである。全盲学生が一生懸命作ったレポートを教員もしっかり読もうとする。しかし、読みにくい。そのため、我々は教員のために、点字のレポートではなく、「かな漢字混じり文」のレポートに翻訳するシステムを構築し、テストデータを用いて調査した。準備した点字コードと表音カナ文のデータセットを使用し、深層学習による教師付きトレーニングを行った。その後、検証データを使用し翻訳の再現性を調査した。 Bleuスコアの値が高くても原文と突き合わせると大きな誤訳も発見されるため、検証用データの中から186文を抽出し翻訳ミスを調査した。検証用に抽出した186文中180か所の翻訳ミスを発見した。単語別にチェックすると130個のミスだと分かった。そこでこの翻訳ミスを3つに分類して詳しく調査した結果は、単に①翻訳ミス、②同音異義語が原因のミス、最後に③複合語が原因によるミスであった。分析の結果は、翻訳ミスの総数130に対して、①の翻訳ミスの割合が35.4%、②の同音異義語のミスが一番多くて43.8％、③の複合語のミスが20.8％である。翻訳ミスのほとんどが同音意義語によるミスだった。①翻訳ミスの原因は、本来「カタカナ」で表示したい文を漢字に変換しており、「ひらがな」で表示すればよい文章まで漢字に変換しているものがあった。また、③複合語の変換ミスでは、前半の単語を漢字変換に成功しているが、後半の単語にミスが発生していることが多かった。本検証では、Bleuスコアの値が0.820を示しているが、教員の読みやすい文章に翻訳するにはまだまだ改良が必要である。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究では、構築したシステムの逆変換（点字文から日本語文に変換する）に深層学習を導入する。深層学習は機械学習の手法のひとつであり、外国語の翻訳にも利用され、好結果を得ている。すなわち、我々は点字から日本語への「変換」ではなく「翻訳」と解釈し、機械翻訳の手法を適用する。点字から日本語文への変換は、通常、以下の2ステップで行われる。 [1] 「点字データ」から「日本語かな文」への翻訳 [2] 「日本語かな文」から「かな漢字混じり文」への翻訳我々は、[1]の翻訳結果から[2]の翻訳調査を行う計画から、2年目は「点字データ」から直接「かな漢字混じり文」への翻訳調査を行った。まだまだ改良余地はあるものの好結果を得ることができた。
Strategy for Future Research Activity	我々は、「点字データ」と「日本語かな文」の対を教師データとして10万件用意し、ニューラル機械翻訳の深層学習を行った。しかしながら、同音異義語や複合語が原因によるミスが目立ったのでシステムの改良が必要である。具体的には、対象に合わせた教師データと検証データの再構築である。そこで、我々は自分たちが評価したいデータに合わせて教師データを用意し、同音異義語の問題点について検討する。また、翻訳結果の評価を示すBleuスコアの値だけでなく、「表音カナ文」のレポートを「かな漢字混じり文」として翻訳した際の教員評価も併せて検証を行う。