2020 Fiscal Year Research-status Report
Development of Driver's Cognitive Ability Training System using 360 Degree Video
| Project/Area Number |
19K03086
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
猿田 和樹 秋田県立大学, システム科学技術学部, 教授 (80282193)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺田 裕樹 秋田県立大学, システム科学技術学部, 助教 (40360002)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 運転者教育 / 360度カメラ映像 / 視線計測 / 画像認識 / 認知能力 / 同一物体判定 / 認知負荷 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，ドライバー視点の360度カメラ映像を視線計測機能付きのヘッドマウントディスプレイに提示し，歩行者や危険個所への被験者の注視行動を計測・分析することでドライバーの認知能力を向上させ，交通事故の低減に貢献できるシステムを開発することを目的とする。
2020度は，被験者の注視物体の自動判定に必要となる同一物体の判定手法，注視行動の定量評価のためのドライバーの視線予測モデル，提示映像の認知負荷計測手法について検討した。
同一物体の判定手法は，異なるフレームでの注視物体が同一カテゴリの場合に，同一物体かどうかを判定し注視行動の分析に用いる技術である。2020年度は特徴点抽出に基づいた物体領域の抽出と同一物体判定手法について検討し，いずれも一定の精度が得られることを性能評価実験により明らかにした。
ドライバーの視線予測モデルは，ドライバー個人の注視行動の獲得により，被験者を動員せずに注視行動計測を可能とすることを目指すものである。2020年度は実走行時のドライバー視点映像と映像内の注視座標のデータを視線計測器により収集し，深層学習を用いた予測モデルを検討した。3種類の予測モデルによる評価実験では，出力映像をグリッドに分割し大まかな位置を予測するモデルが比較的良好な結果が得られることを示した。一方で，情報量の削減や時系列情報の導入等の課題を抽出できた。
認知負荷の計測手法は，ドライバーの心拍数等をもとに，提示映像の認知負荷の大きさを数値化することをねらいとする。2020年度は，Webカメラ映像から抽出した顔領域の輝度値の変化から心拍数とストレス度を非接触で計測する手法について検討した。実験により数分のストレス付加による心拍数とストレス度の変動は確認できたものの，瞬間的な状況変化や低いストレス時のへ対応が課題である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題は，小型でより高い臨場感で運転映像を提示して被験者の注視行動を計測・分析するシステムを開発し，開発システムを用いた訓練を実施することにより，ドライバーの認知能力を向上させ，ドライバーの認知ミスに起因する交通事故の低減することを目的としている。
これまでに開発してきた運転者教育システムでは，ドライブレコーダー映像をタッチパネル搭載PCに提示し，被験者が画面上の注視対象物をタッチする訓練により，認知能力の向上を目指す仕組みとなっていたが，ドライブレコーダーの記録映像は視野角が狭く，かつPC画面で視聴する際の視野角が走行時と異なることが課題となっていた。また，実走行時における注視行動の変化の分析で教育効果を確認する際，対向車両や歩行者の数，気象条件などの走行環境が被験者毎に異なること影響が懸念されていた。これらの課題を解決するための仕組みを構築することが，本研究課題の第一段階の目標である。
2019年度には映像提示および視線計測環境の構築を中心に遂行し，360度カメラで撮影したドライバー視点の映像を視線計測機能付きヘッドマウントディスプレイに提示し，被験者の視線が計測できる環境を構築した。より実際の運転に近い視野角で映像を提示し，統一した環境で被験者の注視行動を計測できる仕組みを実現できた。2020年度は映像中の物体認識技術を用いた注視対象物の自動判定の仕組みの構築と認知負荷の計測方法についての検討を目指し遂行した。2020年度は，被験者がどのような物体を注視していたかを自動的に判定する仕組みの構築を目指しており，その重要な要素技術である同一物体の判定・視線予測・認知負荷の評価手法について検討できた。基礎的な環境の構築に，要素技術の検討が加わり，研究課題をさらに推し進めることができたといえる。
|
| Strategy for Future Research Activity |
2021年度以降は研究代表者である猿田が主体となり，以下の内容について検討する。
(1)360度カメラ映像中の人や物体を深層学習等の画像認識技術により高精度に認識できる手法について検討し，被験者の注視対象となりやすい物体の認識性能について評価する。また，画像認識結果と視線座標をもとに，被験者がどのような物体を注視していたかを自動的に判定する仕組みを導入し，被験者間の注視率を比較・分析する。(2)注視対象物だけはでなく，注視位置・視線移動・認知までの時間等も含めた被験者の注視行動の数値化を試み，定量的な評価方法について検討する。また，提示映像により認知負荷は異なることが想定されるため，映像中の物体やドライバーの心拍数等をもとに，映像毎の認知負荷の高さの数値化についても検討する。なお，任意の認知負荷のシーンを作成しやすいこと，ステアリングやブレーキと連動した機能との親和性を考慮し，アニメーション映像によるシーン作成と利用も検討する。(3)開発システムを用いて被験者に繰り返し映像を提示する実験を実施し，認知能力の向上に対する効果が得られること，提示映像にどのようなシーンを用いればよいか等，より効果的な訓練方法について明らかにする。さらに，(4)気象条件・時間帯・交通状況等が異なる様々な映像に対し，年齢や運転経験の異なる被験者の注視行動の違いについて比較・分析する。また，実走行に対する開発するシステムによる訓練効果を検証するため，(5)訓練前後におけるドライバーの実走行時の注視行動を計測し，上述した映像中の物体の注視率や注視行動の定量的評価に基づき，認知能力向上に対する効果について分析する。なお，実走行時のドライバーの注視行動の計測には，前方映像と視線情報の記録が可能なグラス型視線計測器を利用する。
実験時に提示する映像は，これまでと同様に上記取り組みと並行して随時収集する。
|
| Causes of Carryover |
当初購入を予定していた視線計測機能付きのヘッドマウントディスプレイ（216万円）が販売終了となり，後継機器に該当する機器が当該メーカーからは販売されておらず，同社の視線計測技術が導入され，比較的低価格で同等の機能を有する機器を購入し研究を遂行した。また，2019年度末から2020年度に計画していた出張が新型コロナウイルス感染拡大の影響により，見合わせとなった。これらにより次年度使用額が発生した。なお，ヘッドマウントディスプレイの差額分は，アニメーション映像でのVR開発環境の導入に充てる予定である。導入経緯を以下に示す。
本研究課題における実験にはさまざまな認知負荷の360度カメラ映像を必要としているが，所望の交通状況を撮影することは必ずしも容易ではない。2019年度に試験的に作成した360度カメラ映像でこの点が確認されており，特に今後予定している映像の認知負荷の数値化の検討においては，特定の車両や歩行者の有無などの状況をコントロールできれば，実験効率が大きく向上すると考えられる。そこで，任意のシーンを作成できるアニメーション映像の利用を2020年度以降の研究計画に追加しており，VR開発環境を2021年度以降に購入する予定である。
|
