Development of Braille Reader with a Micro Pressure Sensor

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K10421
• Research Institution: Nagano National College of Technology
• Principal Investigator: 伊藤 祥一 長野工業高等専門学校, 情報エレクトロニクス系, 教授 (10369978)
• Co-Investigator(Kenkyū-buntansha): 藤澤 義範 長野工業高等専門学校, 情報エレクトロニクス系, 教授 (00342494)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 点字 / ウェアラブルデバイス

Outline of Annual Research Achievements

これまでの研究で利用していたPC用感圧センサ(15cm×15cm)の周辺回路と感圧素子を分離し、感圧素子をハンディスキャナタイプにしたものを作成した。従来は、点字を小さなプレートに刻印したものをPC用感圧センサの感圧素子に押し当てて水平に動かすことで点字を指でなぞる動作を模擬していたが、感圧素子をハンディスキャナタイプに分離することによって、点字を直接感圧素子でなぞる動作での読み取り性能評価が可能になる。ただしハンディスキャナ部分を駆動するための回路が大きいためウェアラブル化を踏まえて小さくするための検討が必要である。また、ハンディスキャナタイプのセンサをこれまでの研究で開発済みの点字リーダソフトと結合して使うためのドライバプログラムの開発を進めている。新しく開発したフィルタプログラムにより、従来よりも明瞭に点を認識できる可能性がある。
点字スペルコレクタについてはMecab-IPAdic-NEologd辞書をベースに点訳辞書を作成した。一部に意図的に誤りを入れた点字データを与えたときに180度回転させた逆さ点字(上下逆さ向きに点字をなぞることを模擬したもの)の配列データを自動的に生成し、点訳辞書にある単語とどのていど離れた単語かを測定するために既存のスペルコレクタ用のアルゴリズム(レーベンシュタイン距離)をそのまま適用した場合の性能を評価している。また、スペル訂正用のアルゴリズムの変種を複数試すことを想定し、既存の日本語テキストを大量に収集し、スペル訂正の精度を定量的に評価するためのテストデータセットの作成に取り組んでいる。点字リーダソフトに組み込まれている点訳エンジンを大幅に改良して点訳の精度を向上させた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

これまでの研究で利用していたPC用感圧センサの周辺回路と感圧素子を分離し、感圧素子をハンディスキャナタイプにしたものを作成した。従来のものとはセンサの信号処理仕様が変わっているため、コンピュータに接続して圧力分布データを読み取るためのドライバプログラムに改修が必要であり、一部の信号処理フィルタを除いて7割程度まで改修が完成している。改修にあたって、点の識別のためのフィルタプログラムをいくつか新規開発したことにより、従来のPC用センサの使用時よりも点の場所をより明瞭に識別できる可能性があることがわかっており、ドライバ開発と並行してより精度の高い読み取りを可能とするようにフィルタプログラムのチューニングを進めている。
点字スペルコレクタについてはMecab-IPAdic-NEologd辞書をベースに点訳辞書を作成した。誤った点字データ(A)から逆さ点字のデータ(A')を自動生成し、これらのデータと点訳辞書上の単語(B)との距離を既存のスペルコレクタ用のアルゴリズム(レーベンシュタイン距離)で測定し、単語の類似度によりAをBに訂正したりA'をBに訂正することは可能になっている。さらに点字を感圧センサで読み取ったときのスペル訂正という観点から、点の物理的な位置まで考慮したスペル訂正アルゴリズムの検討に着手している。また、スペルコレクタのアルゴリズムをいくつか試す際に各アルゴリズムの性能の定量的な評価を行うためのテストデータセットの作成に取り組んでいる。
既存の点字リーダソフトに組み込まれている、点字を日本語に翻訳するための点訳エンジンを大幅に改良し、翻訳の精度を大幅に向上させた。

Strategy for Future Research Activity

ハンディスキャナタイプの感圧センサを既存の点字リーダソフトと結合して使うためのドライバプログラムを完成させ、点字を感圧センサでなぞったときの読み取り精度を評価する。従来は感圧センサの基板側に点字を押し当ててなぞる動作を模擬していたが、ハンディスキャナタイプの感圧センサであれば指でなぞる動作をほぼそのまま模擬することができる。ハンディスキャナタイプの感圧センサで点字をなぞる際の問題点を洗い出すと同時にソフトウェアのチューニングを進め、指先に装着できる形の感圧センサの仕様を決定する。ハンディスキャナは感圧素子が固い棒に固定されているが指先に装着する場合は柔らかい筋肉の上に貼り付けることになるため差異を吸収するための新たな考えが必要になると思われる。また、現時点ではハンディスキャナタイプのセンサの周辺回路の物理的なサイズが大きく、そのままではウェアラブルな形にできないため、周辺回路のウェアラブル化について検討する。
点字スペルコレクタについては既存のスペルコレクタ用のアルゴリズムが点字にそのまま使えるかの評価を完了し、点字固有の特性に合わせた修正も検討する。点字は1文字が6つの点で表されていることから、指でなぞった際の読み取りエラーは本当に点がある(ない)場所の近くに生じると考えられる。そのため、点の有無が1カ所異なる点字単語が訂正候補として複数考えられたとしても、点の物理的な場所の距離も考慮すればより的確な訂正が行えると考えられる。今後はこのような点も考慮して訂正アルゴリズムの改良を行っていく。

Causes of Carryover

研究代表者の主たる業務内容が2023年度より大幅に変わったため研究を計画的に進めることが困難であった。このことにより学会等の研究発表に参加することができなかったため旅費を使わなかったことと、センサの大幅な改修を協力会社に依頼するところまで作業が進んでいなかったため残額が生じている。
次年度は指先に装着するタイプのセンサの作成に向けた評価と作成の費用として適切な執行を進めたい。