2019 Fiscal Year Annual Research Report
Research on development of technologies to reduce the barrier of visual information for aimed to assist learning of visually impaired students
| Project/Area Number |
18H01058
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
高木 昇 富山県立大学, 工学部, 教授 (50236197)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 貴 広島工業大学, 工学部, 教授 (40289260)
荒木 智行 広島工業大学, 工学部, 教授 (20257413)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | アクセシビリティ / 学習支援システム / 福祉情報工学 / 特別支援教育 / 教育工学 / インクルージョンと共生社会 / 応用情報学 |
|---|
| Outline of Annual Research Achievements |
昨年度の主な研究実績を以下に述べる．
まず，図のパターン認識技術について，深層学習の応用可能性について検討した．容易に利用可能な触図作成支援システムの開発には，図のパターン認識技術の充実が必要である．昨年度は，深層学習を利用した手書き図形認識技術について検討した．今までにSketch-a-NetおよびScene-Netが手書き図形認識用CNNとして提案された．我々は，既存のVGG16と独自のCNNモデルを並列結合した新しいモデルを提案し，前述の2つのモデルと比較検討を行った．その結果，既存のモデルの認識精度が約80%に対して，提案モデルでは約88%と高い認識結果を得た．
次に，音声ガイド付触図システムの研究実績を述べる．このシステムでは，使用する触図に対応する音声ガイド用テキストをメモリ上に展開する必要がある．利便性の観点から触図を加工することなく触図のパターンを認識し，対応するテキストを検索する方法を検討した．ここでは，グラフ理論におけるグラフ編集距離の応用を考えたが，そのアルゴリズムの計算量はNP困難である．そこで，最大マッチングを用いた高速な近似解法を実現した．計算機実験で評価したところ，高速にかつ安定的に触図のパターン認識が実現できた．
最後に，物理現象の仮想実現システムの開発と評価の研究実績について述べる．1インチスピーカを用いたスピーカアレイを試作し，移動音による線図形の基本的な認識実験を実施した．試作したスピーカアレイは次の三つのモジュールから構成される：①64個のスピーカから構成されるスピーカユニット；②スピーカユニットに電力と音声信号を供給する電力ユニット；③無線通信によりスピーカユニットを制御するPC．円や正方形，三角形の基本図形の移動音呈示による基礎実験を実施した．その結果，80数%から90数%程度の高い認識結果を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題で実施する4つの課題について，それぞれの進捗状況等を説明する．
課題①（図のパターン認識技術）：触図を誰でも容易に作成できるためには手書き図形認識技術などのパターン認識技術の発展が必須である．2019年度には，深層学習を利用した手書き図形認識技術の可能性について検討した．最終年度の2020年度には，昨年度までの研究成果とこれまでに研究代表者等が培ってきた図形のパターン認識技術を用いて触図作成を支援するために図形パターン認識技術を開発する．
課題②（音声ガイド付触図システムの開発と評価）：この課題では，視覚障害生徒が触図を用いる際，スマートフォンなどの情報処理機器を利用して，触察している内容を音声ガイドする触図システムを開発する．既に，iPhoneをベースにシステムを試作した．2020年度には，更なる利便性向上のために，グラフ編集距離を応用した触図認識システムを導入する．これにより，既存の触図を加工することなく音声ガイド付触図システムで利用可能となる．
課題③（物理現象の仮想実現システムの開発と評価）：この課題では，斜方投射などの物体運動の学習支援を検討する．ここでは，複数のスピーカを使った移動音の呈示がどの程度物体運動を再現できるかを実験的に検証する．2019年度に64個のスピーカユニットからなるスピーカアレイを試作した．2020年度には，試作したスピーカアレイを使用して移動音による斜方投射などの物体運動の呈示とその認識精度について検証する．
課題④（投影図学習支援システムの検討）：この課題は2019年度から取り組む．まずは，3次元物体を直接触察しながら，第三角法の投影図（触図）を学習することが，どの程度学習に効果があるのかを確認する．この研究結果を受けて，スタイラス型の力覚呈示デバイスと投影図の触図との融合の学習効果の検討に移行する．
|
| Strategy for Future Research Activity |
課題①（図形のパターン認識技術）：図の触図化には未だ多くの作業を人手に頼らざるを得ない．図のパターン認識技術の充実は触図作成作業の能率化に寄与する．昨年度に深層学習を利用した手書きの図形認識技術を検討し，既存の研究成果より認識精度の高いCNNを開発した．本年度は，我々がこれまでに培ってきたソフトコンピューティングを用いた数学グラフのパターン認識技術や昨年度の手書き図形認識のためのCNNなどを活用して，幅広い種類の手書き図形から触図作成を支援する技術開発を進める．
課題③（物理現象の仮想実現システムの開発と評価）：昨年度，8×8のマトリックス状に配置した音響システムを開発した．円，正方形や三角形など基本図形の移動音呈示により，ヒトがどの程度正確に線図形を認識できるか評価実験を実施した．この結果，より指向性の高いスピーカの使用が必要であることなど幾つかの課題が明らかとなった．今年度はこれら課題の解決に取り組むと共に，スピーカを広い平面空間に配置し，放物運動など物体運動の移動音呈示によりどの程度正確に運動を認識できるか評価実験を実施する．また，我々がこれまでに開発した力覚デバイスと組み合わせたマルチモーダルな物体運動学習支援システムの開発を予定する．
課題④（投影図学習支援システムの検討）：通常，投影図の触読訓練には対象物の実物模型が使われるが，仮想実現を応用した投影図学習支援システムを試作しその有効性を検証する．システムの概要は下の通りである．学習者は片方の手指で投影図を触察し，他方の手で力覚デバイスのスタイラスを把持する．触察する指位置を触図の上部に装備したWebカメラで検出し，スタイラスを指の動きに同期して移動させると同時に三次元物体の形状に合わせて上下に運動させる．学習者は，投影図と三次元物体の形状を継続的かつ同時に認識できる．
|
