2017 Fiscal Year Research-status Report
Eyetifact：アイウェアデータ変換基盤の開発と実世界行動認識への応用
| Project/Area Number |
17K12728
|
|---|
| Research Institution | Osaka Prefecture University |
|---|
Principal Investigator |
石丸 翔也 大阪府立大学, 研究推進機構, 客員研究員 (10788730)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 行動認識 / 心的状態認識 / 眼電位 / アイトラッキング / 赤外線サーモグラフィ / 視線 / 瞳孔径 / 鼻部皮膚温度 |
|---|
| Outline of Annual Research Achievements |
本研究では，複数のセンサで記録したデータの関係を学習することで，あるセンサから取得したデータを別のセンサで得られる相当のデータに変換するシステムを開発する．初年度はセンサデータ変換のための深層学習に関する基礎研究を目標とし，具体的には以下に示す成果を得た．
(1) 変換対象のセンサの選定: 本研究の最終目的である人の行動や心的状態の推定に有効なセンサを文献調査ならびに実験によって選定した．教科書読みや問題演習といったタスクにおいて，アイトラッカで記録した瞳孔径と興味(教科書や問題に対して興味をもつと瞳孔が大きくなる)，赤外線サーモグラフィカメラで計測した鼻部皮膚温度と認知負荷(認知負荷が高いと血管が収縮して鼻部皮膚温度が下がる)にそれぞれ高い相関があることが明らかとなった(ともにp<0.01)．
(2) センサと深層学習を用いた日常行動の認識: 安価で日常利用に適した眼電位計測眼鏡であるJINS MEMEを用いて読書行動の認識を行った．7人の実験参加者から合計980時間におよぶ行動を記録し，Support vector machine・Convolutional neural network・Recurrent neural networkによる認識の手法を提案した．内容やレイアウトがあらかじめ決められた文書を読むといった実験室環境の読書行動を92.2%，文書，時間，場所などを一切制限しない日常の読書行動を73.8%の精度で認識することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は3ヵ年計画であり，それぞれの年度で(1)センサに関する調査と基礎研究，(2)センサデータ変換手法の提案とシステム実装，(3)評価および行動認識への応用を目標としている．実績の概要で述べた通り，初年度の目標を達成することができたため，概ね順調と判断する．特に日常行動の記録と認識においては，変換元と想定していたJINS MEMEのデータから既に高い精度で読書行動を認識できた点で，予想を上回る成果であった．一方でセンサデータ変換に関しては，予備実験の実施に留まり，具体的な成果を得るには至っていない．当初の計画通り，変換手法の提案及びシステムの実装については次年度の目標としたい．
|
| Strategy for Future Research Activity |
継続してセンサデータ変換に関する手法の提案とシステムの実装を行う．あるセンサのデータから別のセンサのデータ相当の値を直接生成するというアプローチが困難である場合に備えて，まずはセンサ同士の中間表現にあたるものを生成する案や，複数センサ間で共起するパターンを見つける案などを検討している．また，深層学習に用いるデータの量を増やすための取り組みとして，複数のセンサデータを一度に手軽に記録するプラットフォームを実装・構築する予定である．
|
| Causes of Carryover |
Doctoral colloquium参加に伴う補助により，国際会議の旅費が提案時に計上した額より少なくなった．次年度の発表にかかる旅費として使用する予定である．
|
