2017 Fiscal Year Research-status Report

Construction of student observation system on mobile terminal

Research Project

Project/Area Number	17K00488
Research Institution	Ehime University
Principal Investigator	中川祐治愛媛大学, 総合情報メディアセンター, 教授 (20227755)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	ｅ-ラーニング / 受講者観察システム / ニューラルネットワーク
Outline of Annual Research Achievements	ｅ-ラーニングによる学習は、場所・時間の制約を受けずに進められることがメリットであるが、逆に学習に集中しないまま時間だけが経過し、実際には知識の獲得が行なわれていない事が多々ある。そこで、過去16年間に渡って、ノートPC使用時の眼球運動から学習への集中度を測定できる「受講者観察システム」を開発してきた。しかし、昨今の端末小型化により、公共交通機関での移動中に学習する機会が増えてきた。そこで、動的な環境に耐えうるシステムが要求される。本研究では、モバイル端末で動的な環境に耐え得るロバスト性を兼ね備えた受講者観察システムの構築を目的とする。学習者が文章を読む際に発生する眼球運動の一種であるSaccade（一秒間に３回、一回あたり約30ミリ秒）に着目し、各種実験を行ったところ，学習に集中している時はSaccadeが観測され，集中度が低下するとSaccadeが観測されないという事実を2003年に確認した。これまでに開発したシステムでは、大まかな目領域に対して全方向微分フィルタを用いて黒目中心座標の検出を行っていた。しかし、この手法は黒目の半径に合わせたフィルタを用いなければ十分な効果が得られないという欠点がある。受講者とカメラの距離が変動することに伴い黒目の半径も変動することから、その大きさを合わせるためにフィルタサイズの推定をしなければならず、計算量が大きくなる。そこで、システムを高速化するためには、黒目の半径に依存しない、中心座標検出方法が必要だと考えられる。そこで、ニューラルネットワークによる機械学習を用いて、大まかな目領域から直接、黒目中心座標を検出する方法を試みた。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 野外や通勤電車の中などでは、目と端末との距離が絶えず変化する。これにより、黒目の半径も変化するため、黒目中心座標検出を黒目半径に依存しないアルゴリズムに変更する必要がある。これを実現するためにニューラルネットワークによる新たな手法を開発した。ニューラルネットワークとは生物の脳の神経回路の仕組みを模した数学モデルであり、特にそれらを多層にした多層ニューラルネットワーク（ディープラーニング）は様々な分野で大きな注目を浴びている。今回の試行ではニューラルネットワークの学習をあらかじめ行い、学習結果を用いて黒目中心座標検出の評価を行った。全体の流れは以下のようになる。 (1)学習用データの作成 (2)ニューラルネットワークの構築および学習 (3)学習結果を用いた黒目中心座標検出と評価このようにして、大まかな目領域から直接、黒目の中心座標検出が可能になった。
Strategy for Future Research Activity	ニューラルネットワークによる黒目中心座標検出では、目領域を複数の領域に分割し、分割された領域の中で最も黒目中心に近い領域を黒目中心と決定している。そのため、領域の分割数が少ないと検出精度も低くなる。また、逆に分割数が大きいと検出に要する時間が長くなり、ビデオレートでの動作が困難となる。今年度は、この点を改善するために、分割数を動的に変化させることで、システムが最適な状態を保持できるようにする。具体的には、Saccadeによる眼球運動は一秒間に３回程度であるので、システムがSaccadeの発生を予測し分割数を増加させ、それ以外は分割数を低減させるような仕組みを開発することで、計算量を低減させる。そして、これらのアルゴリズムをモバイル端末に組み込み、受講者観察システムの動作検証を行う。
Causes of Carryover	当初の予定では、初年度にモバイル端末を購入し、アルゴリズムの開発を行うことを想定していたが、ニューラルネットワークによる新たな手法の開発に着手したため、開発環境がPC主体で行うこととなったため、モバイル端末の購入を見送った。本年度はモバイル端末を購入し、計画通りに研究を進める。