2022 Fiscal Year Research-status Report
パーソナルモビリティを対象とした搭乗者の視認対象物の可視化と周辺環境認知状態推定
| Project/Area Number |
22K04018
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
山崎 彬人 名城大学, 理工学部, 助教 (70725944)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | パーソナルモビリティ / 顔向き推定 / ドライバ状態 / 認知状態推定 |
|---|
| Outline of Annual Research Achievements |
本研究ではパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムを開発することを目的としている．令和4年度は，以下のことを行った．
まず，実験車両の整備を行った．本研究で対象とするパーソナルモビリティの一つであるハンドル型電動車いすを実験車両とし，搭乗者の顔画像を撮影する単眼カメラおよび，車両前方を撮影するためのステレオカメラを設置した．また，周辺環境認識用に全方位カメラおよびLiDARを車両前方と後方に各１台ずつ設置することにより，車両全方位のカメラ画像および３次元点群座標を取得可能とした．作成した実験車両を用いて，搭乗者の顔画像，車両周辺のステレオ及び全方位画像，LiDARによる3次元座標を含む走行データを取得した．
次に取得したLiDARの3次元点群を用いたSLAM，全方位カメラの映像を用いたVisual SLAMによる自己位置推定，ステレオカメラによって得られた映像から車両前方の歩行者のリアルタイム検出および検出した歩行者までの距離推定を可能とするシステムの試作を行った．また，単眼カメラによって取得した搭乗者の顔画像を用いた顔向き推定および視線方向を推定するシステムの開発を行った．
その他，搭乗者が装着型の視線計測装置を装着した状態で実験車両を運転し，搭乗者の視線および前方映像データの取得を行った．取得したデータを解析し，パーソナルモビリティ搭乗時に搭乗者がどこを視認しているかの視線データの分析を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は実験車両を整備し，搭乗者の顔画像およびステレオカメラにより車両前方の映像，Lidarによる周辺環境の3次元データを含む走行データを取得した．取得したデータを基に以下のシステムの開発を行った．
１．搭乗者の顔画像を用いた搭乗者の顔向き推定および視線方向を推定するシステムの開発．２． LiDARおよび全方位カメラによる3次元点群を用いた自己位置推定システムの開発．３．ステレオカメラを用いた移動物体や障害物，人物検出システムの開発．4．装着型視線計測装置を用いた搭乗者の視線データの取得と認知状態推定システムの試作．
なお，運転時に視認すべき周辺環境情報の取得と分類については一部未実施であるが，これは，搭乗者の周辺環境認知状態推定に係るシステム整備とデータ収集を先行実施したためである．
|
| Strategy for Future Research Activity |
令和5年度では，引き続きパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムの開発を目指し，以下の研究を行う．
・運転時に視認すべき周辺環境情報の取得と分類
当初計画では令和4年度に実施予定であったが，他システムの開発を先行実施したため，令和5年度はステレオカメラ画像から前方映像上の交通参加者，道路形状等の対象までの物理パラメータ（距離，速度，向き）を抽出し，それらの情報をもとに，各対象物に対して，場面に応じた危険度を数値化し，視認すべき対象物を分類するシステムの開発を行う予定である．
|
| Causes of Carryover |
(理由)
当初の計画では，ハンドル型電動車いすやLiDARの購入を予定していたが，共同研究者より貸与を受けたため，購入を見送った．また，車載用に複数台のカメラを購入する予定であったが，機器の性能確認のためまずは1台のみの購入としたことから未使用額が生じた．また，国際会議に調査を目的として参加する予定だったが，オンライン参加としたため，旅費についても未使用額が生じた．
(使用計画)
今年度行うシステム開発においては複数台のステレオカメラが必要となるため，追加購入する予定である．また，開発したシステムの実験を行うためのモバイルワークステーションを購入する予定である．さらに，学会参加による発表．調査研究の旅費や論文投稿料として使用する予定である．
|
