2019 Fiscal Year Annual Research Report
Extending Object Recognition Awareness of the Visually Impaired by Giving Improved Haptic Information Support
| Project/Area Number |
18H03656
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
巽 久行 筑波技術大学, 保健科学部, 教授 (30188271)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
関田 巖 筑波技術大学, 保健科学部, 教授 (40357322)
小林 真 筑波技術大学, 保健科学部, 准教授 (60291853)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 視覚障碍 / オブジェクト認識支援 / 触知 / 擬似形状生成 / 形状理解 |
|---|
| Outline of Annual Research Achievements |
本研究は視覚障碍者，特に全盲者の触知手法（触覚や力覚を用いた認知手法）を向上させることでオブジェクトの認識や形状の理解ができるようにすることを目的としている。これを達成するために全盲者の触知手段を向上させる触知ソフトウェアの開発を行うが，それは３つに分割される。第１は擬似オブジェクトの生成であり，二次元情報である図的情報の構成と三次元情報である形状情報の構成から成っている。第２は擬似オブジェクトの形状伝達であり，触覚提示手法と力覚提示手法の作成である。第３は環境内にあるオブジェクトの形状取得であり，対象の探索・認識・形状抽出・学習と照合などから成る。
昨年度（１年目）は第１の擬似オブジェクトを生成するソフトウェアの開発を行ったが，本年度（２年目）は第２の形状伝達を行うソフトウェアの開発を行った。その際，図的情報伝達の中核を成す触覚提示は点図ディスプレイを，形状情報伝達の中核を成す力覚提示は反力フィードバック装置を各々使用したが，その図的情報や形状情報の伝達が正しく行われたか否かは指先に付けたLEDマーカーによる触察の追跡と解析で行った。この触察追跡プログラムと触察解析プログラムの作成が本年度の課題であり，擬似オブジェクトに対する全盲者の触察が両手で行えるように，既存の右手用反力フィードバック装置に加えて左手用同装置を新たに購入して実験を遂行した。擬似オブジェクトの触察時における追跡や解析は，擬似オブジェクトの生成と同様にクラス概念やメッセージ通信に基づくオブジェクト指向パラダイムを採用している。触力覚による形状の概念形成は空間的な構成・分解の正確さにあるので，提示要求に応じた分解能に適する細分化や統合化が擬似オブジェクトのイメージ獲得過程において難しい課題となっているが，基本的に擬似オブジェクトの形状伝達は触力覚で行うものの，伝達の向上を目指すために触察の可聴化も検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
全盲者が触察したい対象から生成した擬似オブジェクトに対して，その形状伝達を行う触知プログラムの開発を行ったが，その中核をなすのは形状情報を触力覚として提示が可能な反力フィードバック装置による力覚機能である。そのため，本年度の物品費として左手に装着する反力フィードバック装置を購入し，既存の右手用同装置と合わせて擬似オブジェクトの力覚提示による形状伝達手法の開発を行った。しかし，仮想触力覚による擬似オブジェクトを把持する際に予想を超えた不良データが見つかり，新たに購入した左手用同装置だけでなく，既存の右手用装置も修理・調整が必要となった。理由はOS（Windows10）のバージョンアップによるデバイスドライバの不適合と，そのOS上で動作するVR空間の仮想触手を制御するソフトウェア開発パッケージ（VirtualHand SDKと呼ばれる）の不具合が原因である。
このため，擬似オブジェクトが実際のオブジェクトでの空間的な構成や正確さを表現する手法，特に，表示要求に応じた拡大・縮小時の分解能に適した細分化や統合化による擬似オブジェクトの伝達手法に満足のいく結果が出ずに，困難な課題として立ち塞がって研究計画が滞った。そこで，基本形状で合成・分割が可能な擬似オブジェクトの構成とは別に，複合オブジェクトについては局所的に触力覚とは別の手段（例えば音響などによる可聴化など）で形状伝達を行うプログラム開発を並行している。具体的には，前年度に購入したモーションキャプチャのLEDマーカーを指先に付けて，視覚障碍者の触察時における触指追跡を擬似音響による代替情報として形状伝達を行うものである。その際，触察時の触指位置の追跡や解析は距離場空間法を採用しているが，擬似形状の弁別やイメージ獲得過程が分析できるものの，正確な距離場空間データを得るのが非常に難しいことが計画全体の遅れを招いている一因でもある。
|
| Strategy for Future Research Activity |
形状伝達を行うソフトウェアの開発は擬似オブジェクトの生成と密接に絡み合う。これは，図的情報や形状情報の伝達が正しく行われているか否かの検討は指先に付けたLEDマーカーによる触察時の追跡と解析で行うが，これらのプログラム化の成否は擬似オブジェクトの生成に依存するからである。研究代表者らは過去の挑戦的萌芽研究で筆位置を音色で確認できる視覚障碍者用音響ペンの開発を行ったが，筆の位置が触察する指の位置で擬似音響を生成するように変更すればよい。基本形状の合成・分割で局所的な触力覚が適切に提示できない場合，即ち，生成した擬似オブジェクトの精度が高くなくとも全盲者に触知可能な形状伝達手段を提供することが重要である。触力覚を向上させる触知音響の生成をどのようにするかは検討中であるが，本課題のオブジェクト指向パラダイムの意向に従い，プリミティブな形状データの触知音をもとに，基本形状を合成・分割した複合形状が推測可能な触知覚や方向識別を誘起する擬似音響の生成手法を構築する。
近年，視覚障害者の脳における可塑性と機能補償に関する研究から，視覚処理のみの脳領域と見なされていた視覚野でも聴覚や触覚などの代替感覚に影響を受けることが分かってきた。そこで，体動時における脳活動計測が可能な機能的近赤外分光分析（fNIRSと称する）を用いて，擬似オブジェクトのイメージ獲得過程を追跡することで形状伝達手法の評価を図る。即ち，触覚や聴覚に係わる情報伝達を視覚野の活動で評価するものである。VR空間上の擬似オブジェクトを反力フィードバック装置のような感覚代行機器で触察する際の脳活動を可視化できれば，視覚障碍者の触知覚が脳活動に及ぼす影響や脳の可塑性，機能補償などが考察できる。それより，触知による視覚障碍者のオブジェクト認識意識の拡充手段が明確となり，擬似的な触力覚による視覚障害補償の有用性を確認できると考えている。
|
