2020 Fiscal Year Annual Research Report
Extending Object Recognition Awareness of the Visually Impaired by Giving Improved Haptic Information Support
| Project/Area Number |
18H03656
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
巽 久行 筑波技術大学, 保健科学部, 教授 (30188271)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
関田 巖 筑波技術大学, 保健科学部, 教授 (40357322)
小林 真 筑波技術大学, 保健科学部, 准教授 (60291853)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 視覚障碍 / オブジェクト認識支援 / 触知 / 擬似形状生成 / 形状理解 |
|---|
| Outline of Annual Research Achievements |
本研究は視覚障碍者，特に全盲者の触知手段を向上させる触知ソフトウェアの開発を行い，それを用いて全盲者自身でオブジェクトの認識や形状の理解ができるようにすることを目的としている。これを達成するために，１年目（2018年度）は計算機内に図的情報や形状情報から構成された仮想オブジェクトを生成し，２年目（2019年度）は触覚提示や力覚提示からなる仮想オブジェクトの形状伝達を作成した。昨年の３年目（2020年度）は，環境内にあるオブジェクトに対して探索・抽出・照合などを行い，２次元や３次元の基本形状を合成・分割することで生成した擬似オブジェクトの形状伝達から，対象オブジェクトの認識や理解が可能か否かを検討した。
擬似オブジェクトの形状伝達では，図的情報は点図ディスプレイによる触覚認知で，形状情報は反力フィードバック装置による力覚認知で，それぞれの実験と考察を行い，伝達が正しく行われているか否かは指先に付けたLEDマーカーによる触察時の追跡と解析で行った。その際に作成したプログラム（触察追跡用と触察解析用の各プログラム）は，擬似オブジェクトの生成と同様にクラス概念やメッセージ通信に基づくオブジェクト指向パラダイムを採用している。全盲者にとって触力覚による形状の概念形成は難しい課題であり，形状イメージの獲得は基本的には触覚と力覚による擬似オブジェクトの認識理解で行うものの，イメージ生成の向上を目指すために触察時の聴覚情報による可聴化も行った。これは擬似オブジェクトを触察する際に，連続的な触知面が多いオブジェクトの認識は比較的容易であったが非連続的な触知面のあるオブジェクトほど被験者の触知力の差が現れるので，触知面に対応した擬似音響や触知面同志の交差に対応した合成擬似音響を生成して，それを触知における交差面での形状理解や遠近判断に利用することは形状認識の有効な補助手段になることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
全盲者が認識したい環境内のオブジェクトに対して，２次元や３次元の基本形状を合成・分割することで生成した仮想擬似オブジェクトを代替として触察させることにより，全盲者のオブジェクト認識や形状理解への可能性を追求している。即ち，晴眼者が視覚で行っているオブジェクトの認識を，感覚代行機器による触知技術を用いることで全盲者自身がオブジェクト認識を行える支援手段の確立を目指している。擬似オブジェクトの形状伝達において，図的情報は点図ディスプレイによる触覚認知で，形状情報は反力フィードバック装置による力覚認知で，それぞれの実験を行っているが，触力覚による擬似オブジェクトの触察データ取得はおおむね順調であり，形状伝達もおおむね満足のいく結果を得ている。触力覚による形状の概念形成が全盲者にとって難しい場合は，基本形状をもとに擬似音響を生成して，基本図形同志の交差は各基本形状の擬似音響からなる合成擬似音響を生成して形状の概念形成に利用している。これにより，擬似オブジェクトの空間的な構成や正確さに関して，聴覚情報を付加したことは触力覚情報のみによる形状イメージの獲得に比べて予想以上に向上した。
なお，擬似オブジェクトに対する触知の検出や分析において，触察時の脳賦活を追跡することは有効である。形状イメージを獲得する際に，触力覚情報は脳の一次体性感覚野が，聴覚情報は聴覚野が，それぞれ賦活すると考えられるので，擬似オブジェクトを触察する際の認識における触知分析も簡素化されて，形状イメージの観測精度も高くなり，想定していない問題が生じたとしても十分に対処できる。オブジェクトの形状伝達は言語化が難しいので，触力覚情報や聴覚情報による形状伝達で全盲者のオブジェクト認識を向上させる手法の確立を目指しているが，擬似オブジェクトのイメージ獲得過程における脳活動の追跡は正確さと信頼性を高めることを確認しつつある。
|
| Strategy for Future Research Activity |
図的情報や形状情報の伝達が行われているか否かの確認は，触察時の指先に付けたLEDマーカーによる追跡と分析で可能であるが，伝達手法の優劣は擬似オブジェクトの生成と密接に絡み合う。基本形状を合成・分割することで生成した擬似オブジェクトにおいて局所的な触力覚が適切に提示ができない場合，擬似オブジェクトの生成精度を高めることが考えられるが，使用している感覚代行機器の表示分解能は高くなく，また，被験者の手指による触知能力も低いので，他の手段で全盲者に形状伝達手段を提供する方が良い。その手段として，昨年度から触力覚情報の補完を行う触知音響の生成を行っている。触知音響のみで擬似オブジェクトを認識・理解させるのは困難であるが，擬似オブジェクトを生成する際のオブジェクト指向パラダイムに従って基本形状から合成・分割した複合形状が推測可能な触力覚や方向識別を誘起する擬似音響の生成手法を構築することは可能である。
また，視覚障害者の脳における可塑性と機能補償に関する研究から，視覚情報の処理を行う視覚野が聴覚や触覚などの代替感覚からも影響を受けていることが分かってきた。そこで擬似オブジェクトのイメージ獲得過程において，擬似オブジェクトの形状伝達を行う感覚代行が触力覚情報だけでなく聴覚情報も合わせた場合，脳活動を観測することは伝達手法を評価する上で有効である。即ち，触察時の脳活動の観測に関して，一次体性感覚野（触力覚情報の効果）や聴覚野（聴覚情報の効果）を分析することで形状伝達手法の評価を図る。仮想空間上の擬似オブジェクトを感覚代行機器で触察する際の脳活動を正確に可視化できれば全盲者の触知覚が脳活動に及ぼす影響が考察でき，触力覚の補完となる擬似音響の生成も明確化される。それにより，触知による視覚障碍者のオブジェクト認識意識が向上され，擬似的触力覚による視覚障害補償支援の有用性を確認できると考えている。
|
