2018 Fiscal Year Research-status Report
Eyetifact：アイウェアデータ変換基盤の開発と実世界行動認識への応用
| Project/Area Number |
17K12728
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
石丸 翔也 大阪府立大学, 研究推進機構, 客員研究員 (10788730)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 心的状態認識 / 読書行動 / アイトラッキング / 皮膚電気活動 |
|---|
| Outline of Annual Research Achievements |
本研究では，複数のセンサで記録したデータの関係を学習することで，あるセンサから取得したデータを別のセンサで得られる相当のデータに変換するシステムを開発する．平成30年度はセンサデータ変換手法の提案と行動認識への応用に取り組み，下記の成果を得た．
(1) データ収集基盤ソフトウェアの開発: 複数のセンサを接続し同期するソフトウェアが完成した．これにより，センサデータ変換手法に必要な大量の行動データを集めることが可能になった．ドイツ人工知能研究センター (DFKI) のImmersive Quantified Learning Lab (iQL-Lab)ならびに大阪府立大学のセンサークラスルームでの様々な実験で使用することで，その安定性と拡張性を確認した．
(2) 視線と皮膚電気活動から読書行動中の興味度の推定: アイトラッカで計測した視線やリストバンド型センサで計測した皮膚電気活動 (electrodermal activity, EDA) を入力として読書中の興味度を出力する機械学習モデルを構築し，その評価実験を行った．具体的には，実験参加者はディスプレイ上でニュース記事を読み，それぞれの記事に対する興味度を4段階で評価した．視線を用いることで44%，皮膚電気活動では50%の精度でそれぞれ4クラスを識別した．性能はまだ十分とはいえないが，行動から興味度と相関のある有効な特徴を見つけることができた．
(3) Software-Basedアイトラッキングの視野拡張: 広角レンズを取り付けることでコンピュータやスマートフォンのフロントカメラの視野を広げ，カメラで捉えた顔画像からの視線推定をのぞき見防止や教室での使用などで使えるよう拡張した．広角レンズ の歪み補正や視線推定は既存のものを利用し，視線の推定結果を補正する機械学習モデルを提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
センサデータ変換に関しては，記録基盤の開発と予備実験の実施に留まり，対外発表に至るほどの具体的な成果はでていない．深層学習を適用できるほどの大量のデータを集めるには時間がかかるため，翌年に予定していた実世界行動認識に並行して取り組んだ．その結果，(2)と（3)の成果を得た．特に皮膚電気活動による興味度の推定は，ユビキタス・コンピューティングの国際会議であるUbiComp 2018においてPoster Track Honorable Mentionを獲得するなど大きなインパクトを与える成果となった．以上の点を踏まえ，総合的には平成30年度の目標を達成できたと考えて，概ね順調と判断する．
|
| Strategy for Future Research Activity |
継続してセンサデータ変換に関する手法の提案とシステムの実装を行う．あるセンサのデータから別のセンサのデータ相当の値を直接生成するというアプローチが困難である場合に備えて，まずはセンサ同士の中間表現にあたるものを生成する案や，複数センサ間で共起するパターンを見つける案などを検討している．また，実世界行動認識への応用例を興味以外の心的状態にも発展させていきたいと考えている．
|
| Causes of Carryover |
国際会議に出席するための旅費が予定より僅かに少なく済んだ．次年度の旅費として使用する予定である．
|
Research Products
(3 results)
