2018 Fiscal Year Annual Research Report
Research on development of technologies to reduce the barrier of visual information for aimed to assist learning of visually impaired students
| Project/Area Number |
18H01058
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
高木 昇 富山県立大学, 工学部, 教授 (50236197)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 貴 広島工業大学, 工学部, 教授 (40289260)
荒木 智行 広島工業大学, 工学部, 教授 (20257413)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | アクセシビリティ / 福祉情報工学 / 学習支援システム / 特殊教育工学 / 障害者支援 |
|---|
| Outline of Annual Research Achievements |
2018年度では，次の3つの課題に取り組んだ．課題①：図のパターン認識技術，課題②：音声ガイド付触図システムの開発と評価，課題③：物理現象の仮想実現システムの開発と評価．以下に，各研究実績の概要を示す．
課題①：この課題では，物理学や化学などの教科書に掲載されるような図の触図自動変換が最終目標となる．このため，2018年度には，物理学などの教科書に掲載されているような図を対象としたパターン認識技術に関する先行研究を調査し，今後の研究方針を検討した．その結果，物理学，生物学，化学などの教科書で使われる図のクラスタリングの技術開発が最初に解決すべき研究課題であるとの認識に至った．
課題②：（１）音声ガイドのオン・オフ機能として様々なジェスチャーコマンドを検討した．16種類のジェスチャー認識器を試作し，その評価実験の実施した．その結果，単純な動作によるコマンドが適切であるとの示唆を得た．（２）使用する触図に対応する音声データ検索のため，触図検察技術を検討した．ここでは，触図が線図形であることを考慮し，グラフ編集距離による触図検査方法を検討した．評価実験の結果，検索に膨大な時間を要することが判明した．
課題③：（１）64個のスピーカから成るスピーカシステムを開発した．本システムでは，各スピーカとWiFi/Bluetoothチップを接続することで，PCから無線で音声データを各スピーカに送信できる．これにより，64個のスピーカを2次元平面または3次元空間に自由に配置が可能となった．（２）3D Systemのスタイラス型力覚呈示デバイスを使い，斜方投影した物体運動の仮想体験システムを試作した．2019年度には，この試作システムと（１）のスピーカシステムを統合した，触覚・聴覚のマルチモーダルな物体運動仮想体験システムを試作する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題で実施する4つの課題について，それぞれの進捗状況等を説明する．
課題①（図のパターン認識技術）：物理学，生物学，化学などの教科書に掲載される図の触図自動変換がこの課題の最終目標となる．このためには，図の意味解析が必須の技術となるが，2018年度には図のパターン認識に関する先行研究の調査を実施した．その結果，まずは教科書に掲載される図を，例えば章毎に分類する図のクラスタリング技術開発の必要性を認識するに至った．残り２年間の研究期間において，教科書に掲載される図のクラスタリング技術開発を実施する．
課題②（音声ガイド付触図システムの開発と評価）：本課題では，スマートフォンを利用して，触察する指位置を画像処理で認識し，ユーザの指を使ったジェスチャーコマンドに従って音声ガイドを呈示する．また，音声ガイドのテキストデータを作成するための注釈用GUIの開発も必要である．上記2つのシステムは既に試作した．今後はその評価実験へと移行する．
課題③（物理現象の仮想実現システムの開発と評価）：この課題の根本的な問いは，触覚や運動感覚，並びに聴覚を複合的に使用することで，ヒトはどこまで静的な線図形や動的な物体運動を知覚できるか，ということである．この課題を多数の被験者の協力を得て心理物理的に課題解決の遂行を目指す．2018年度には実験に必須なスピーカシステム，およびスタイラス型力覚呈示デバイスを使った物体運動の仮想体験システムを開発した．今後は開発したシステムを使用して心理物理的実験を進める．
課題④（投影図学習支援システムの検討）：この課題は2019年度から取り組む．まずは，3次元物体を直接触察しながら，第三角法の投影図（触図）を学習することが，どの程度学習に効果があるのかを確認する．この研究結果を受けて，スタイラス型の力覚呈示デバイスと投影図の触図との融合の学習効果の検討に移行する．
|
| Strategy for Future Research Activity |
課題別に今後の研究の推進方策についてのべる．
課題①（図形のパターン認識技術）2018年度に本課題に関係する先行研究を調査した．その結果，物理学，生物学や化学などの教科書に掲載される図のクラスタリング技術開発の必要性を認識するに至った．今後は，物理学などの教科書の単元別に関連する図を分類するクラスタリング技術の開発を目指す．
課題②（音声ガイド付触図システム）2018年度までにiPhoneで稼働する音声ガイド付触図システムは試作した．しかし，そのユーザインタフェース評価は短期間の実験環境下での評価に過ぎない．そこで，今後は，（１）システムの長期間使用に亘る評価実験を実施する．また，（２）システムの機能として，触図検索機能を追加する．これは，触図のパターン認識技術の開発による実現する．現在のところ離散数学におけるグラフの同型判定を基礎に触図検索技術の開発を予定する．
課題③（物理現象の仮想実現システムの開発と評価）2018年度に68個のスピーカからなるスピーカシステムを開発し，静的な線図形や物体運動をスピーカシステムの移動音で呈示が可能となった．今後は，移動音でどの程度正確に線図形や物体運動を知覚できるか心理物理的実験で検証する．（１）どの程度まで複雑な線図形が移動音で知覚可能かを実験的に評価する．（２）連続する移動音がどの程度正確に物体の移動を表現するか実験的に評価する．
課題④（投影図学習支援システムの検討）初めに，投影図の学習支援システム開発のための予備実験を実施する．2019年度は，まず実際の3次元の物体とその投影図との関係を学習する方法を検討し，その検討結果から開発予定の仮想実現システムの仕様等を明らかにする．複数名の被験者（晴眼者または視覚障害者）の協力を得て，実物の3次元物体を使用した投影図（触図）の触知学習の能率性を，心理物理的測定により客観的に評価・検討する．
|
Research Products
(11 results)
