指点字によるコミュニケーション機器の開発

• Project/Area Number: 21K11305
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 59010:Rehabilitation science-related
• Research Institution: Nagano National College of Technology
• Principal Investigator: 藤澤 義範 長野工業高等専門学校, 情報エレクトロニクス系, 教授 (00342494)
• Co-Investigator(Kenkyū-buntansha): 伊藤 祥一 長野工業高等専門学校, 情報エレクトロニクス系, 教授 (10369978)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2021: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 指点字 / 盲ろう者 / コミュニケーション / 支援機器 / プライバシー / ウェアラブルデバイス

Outline of Research at the Start

本研究は，盲ろう者のコミュニケーション手段の一つである指点字を使い，介助者なしに盲ろう者同士が直接コミュニケーションをとるためのコミュニケーション機器およびそのためのクラウドを利用したシステム全体の開発を目的としている．指点字は，盲ろう者の間で使用されるが，指の甲側から指を直接叩くため大掛かりな機器になってしまう．そこで，我々は指の甲以外の場所で指点字を伝えることを提案し，機器の小型化を目指す．

Outline of Annual Research Achievements

本研究は，盲ろう者が介助者の手助けなしでコニュニケーションを図るためのコミュニケーション支援機器とこの機器を介してクラウド上で盲ろう者と会話するためのコミュニケーションプラットフォームの２つを開発することが大きな目的である．
盲ろう者がコミュニケーションを図る手段として指点字がある．盲ろう者が情報を発信，または受信するときの手段として，指点字を利用することが多いため，我々は指点字に着目した．指点字は，６点点字の各点を左右の人差指，中指，薬指に見立てて互いの指先を指の甲側から叩き，伝える手法である．一般的には，盲ろう者と介助者がペアになり，聞いたことを介助者が盲ろう者に伝えて，盲ろう者が伝えたいことを介助者に伝えて，周囲に知らせる．そのため，現状の方法では，盲ろう者のプライバシが守れないという問題がある．また，仮に盲ろう者同士が指点字を使い，介助者なしで会話する場合には，直接相手の指を叩かなければならないため，一対一の会話になってしまう．これらの問題を解決するため，指点字を使ったシステムの開発に至った．
指点字を使った機器は，既存するが，指点字同様，指の甲側から指先を刺激するための機構を持っており，機器が大規模になってしまう．そこで，我々は指の腹側から指点字を伝えることを検討した．指の腹側から刺激を与える方法として，点字セルを用いたものと振動モータを用いたものを作成した．それらの機器は作成にとどまっており，今後，指の腹からの刺激に対して，どの程度，正しく受信できるのかを評価する．
また，クラウドを利用したプラットフォームについては，支援機器と直接通信するのではなく，タブレット等のアプリを介してプラットフォームを利用するようにしている．介助者がアプリを操作して，サーバへの接続を手伝うことにしている．現状では，仮想環境での実験は段階で，今後，クラウド上で利用できるように実装を進める．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

我々が開発を進めているものは大きく2つある．１つ目は，盲ろう者が利用するコミュニケーション支援機器，２つ目は，支援機器を接続してコミュニケーションを図るためのプラットフォームである．進捗については，どちらも十分な評価に至っていない．
支援機器については，指先の腹側から指先を刺激するプロトタイプの開発に時間がかかってしまい，実際の利用に至っていない．刺激する方法としては，点字セルを使った方法と振動モータを使った方法の２種類があり，どちらもプロトタイプの作成までができている．また，指先の刺激を定量的に評価するためにセンサが選定できず，定量的評価の手法が確立できていないのが理由で，支援機器の十分な評価方法が確立できていないのが現状である．
プラットフォームについては，実際の支援機器ができるまで，支援機器を模したタブレット用のアプリを作成し，そのアプリを利用して仮想環境上でコミュニケーションを図るためのシステムを構築した．１台のコンピュータ上に仮想環境を構築し，サーバソフトウェアの開発を行った．支援機器を模したアプリと通常のラップトップなど，複数の端末を使用し，指点字から日本語，日本語から指点字へと変換し，情報のやりとりができるところまでは確認できているが，実際のクラウド上にシステムを構築し，利用するまでには至っていないのが現状である．

Strategy for Future Research Activity

本研究で開発を進めている盲ろう者が利用するコミュニケーション支援機器については，指の腹側から刺激を与える機器として，点字セルを使ったプロトタイプと振動モータを使ったプロトタイプの２種類が完成している．今後の進め方としては，これら２種類の機器を複数製作して，それぞれの手法でどちらの方が正しく指点字を伝えられるか検証する．
まず，通常の指点字と同じように，指の甲側から刺激を与えて，その正答率を調べる．より多くの被検者からデータを収集し，それを真の値と仮定し，次に，我々が開発した機器を使用して，指の腹側から刺激を与えてその正答率を調べる．この値と真の値との差を調べて，真の値に近づけるための改良点などを検討する．課題としては，刺激を定量的に測定するためのセンサの選定が困難な点である．そのため，通常の指点字のように指の甲側からの刺激と指の腹側からの刺激の正答率の差を実験的に調べて，その差を小さくするための検討を行う予定である．コミュニケーションプラットフォームについては，仮想環境上でのサーバソフトウェアは動くことは確認している．また，支援機器を模したタブレットのアプリも完成しているので，段階を踏みながらクラウドサービスを利用し，運用試験を開始することを考えている．また，実際の指点字を使う盲ろう者への協力が必要となるため，関係機関への協力を仰ぎながら開発を進めると共に，システムの評価を頂く予定としている．