Understanding and control of mind through gaze
| Project/Area Number |
18H03312
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
満上 育久 広島市立大学, 情報科学研究科, 准教授 (00467458)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2020: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Fiscal Year 2019: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2018: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
|
|---|
| Keywords | 注視 / 人物行動解析 / 人物映像処理 / 理解度推定 / 健康状態推定 / 注視推定 / VR / 姿勢推定 / e-learning / 視覚探索課題 |
|---|
| Outline of Annual Research Achievements |
「眼球・頭部協調運動モデリング」：眼球と頭部の協調運動を機械学習によりモデル化し俯瞰カメラで観測される人の頭部運動から注視方向を推定する技術の開発において，自然な行動の中での頭部と眼球の運動を大規模にデータ収集することが必要となる．そこで本研究では，視線追跡型VRゴーグルを用いて，さまざまな状況下での眼球・頭部協調運動データを効率的に収集できるシステムを構築した．そして，実際にこのシステムを用いて，16名の実験参加者にさまざまなシーンを提示した際の眼球・頭部運動データを収集し，そのデータを用いた協調運動モデリングを行いその性能を評価した．また，このシステムと同一の環境に，複数台のKinectを設置し，眼球・頭部運動だけでなく，全身運動を計測できる環境を構築した．
「注視行動と理解度の関係」：講義中の受講生の注視行動と講義内容の理解度の関係を調べるため，今年度は，そのデータを収集するためのシステムを構築した．すべての受講生（実験参加者）に同一の条件下で受講してもらうために，視線追跡型VRゴーグルを用いて，VR環境中で再生される講義動画を視聴するシステムとして実装した．これまでに32名の実験参加者のデータを収集するとともに，理解度の高い群と低い群の注視点を講義動画上にプロットし，分布を可視化する手法を実現した．
「VR視覚探索課題による心の健康状態推定」：「うつ」などの心の疾患を早期に発見することを目標に本年度より研究を開始した．スマートフォン画面内での視覚探索課題に要する時間が，人が主観的に感じる幸福度の高低によって有意に異なるという知見に着目し，それをVR環境下で確認するためのシステム作りおよび23名の実験参加者データによる検証実験を行った．その結果，VR環境下においても先行研究と同様の傾向が確認された．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
「眼球・頭部協調運動モデリング」，「注視行動と理解度の関係」，「VR視覚探索課題による心の健康状態推定」いずれの研究トピックについても，当初計画ではデータ収集システムの実装を当該年度の目標としていたが，いずれにおいてもシステムを用いて複数の実験参加者のデータを収集し，初期的なモデリングや分析までを行うことができた．これらの成果は，すでに国際会議で1回，国内会議で1回発表済みであり，これに加えて，国際会議4件，国内会議6件が予定されている状況である．
|
| Strategy for Future Research Activity |
「眼球・頭部協調運動モデリング」については，これまでに得られた16名の実験参加者のVRシーン内での眼球・頭部運動データについて，その人数やシーンバリエーションをさらに増やし，モデルの個人差やシーン差について調査する．また，先行研究で収集されている実世界シーンでのデータも用いて，VRシーンと実世界シーンでモデルの一貫性を確認する．モデリング手法については，Gradient Boosting Machine (GBM) や Long Short-Term Memory (LSTM) などの機械学習手法をベースに高精度に注視方向推定を行うことのできる方法を検討する．
「注視行動と理解度の関係」については，トップダウン型のSaliency map生成手法をベースに，ヒートマップとして注視分布を可視化する手法を開発し，理解度が高い群と低い群でその分布がどう異なるかを分析する．
「VR視覚探索課題による心の健康状態推定」では，さらに実験参加者を増やすとともに，得られたデータのより詳細な分析を行う．前年度は，視覚探索における探索時間のみに着目した分析を行っていたが，今後はその過程での頭部運動の時系列にも着目し，さらに，見つけるべき目的刺激の場所の違いによって探索時間や頭部運動がどう変化するかなどの観点で分析を進める．
|
Report
(1 results)
Research Products
(13 results)
