パーソナルモビリティを対象とした搭乗者の視認対象物の可視化と周辺環境認知状態推定
| Project/Area Number |
22K04018
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 20020:Robotics and intelligent system-related
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
山崎 彬人 名城大学, 理工学部, 助教 (70725944)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
|
|---|
| Keywords | パーソナルモビリティ / 顔向き推定 / ドライバ状態 / 認知状態推定 / 運転支援 / 画像処理 / 視認推定 / 運転行動分析 |
|---|
| Outline of Research at the Start |
本研究では，パーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムを開発することを目的とする．具体的には，搭乗者の画像から，顔向き，視線方向等の運転行動を推定するシステム，および前方映像上の交通参加者，道路形状等の対象までの物理パラメータ（距離，速度，向き）を抽出・追従する画像処理システムの開発を行い，それらの情報をもとに，搭乗者の周辺環境の視認の有無および認知状態を推定することを目的とする．
|
| Outline of Annual Research Achievements |
本研究ではパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムを開発することを目的としている．令和4年度は，以下のことを行った．
まず，実験車両の整備を行った．本研究で対象とするパーソナルモビリティの一つであるハンドル型電動車いすを実験車両とし，搭乗者の顔画像を撮影する単眼カメラおよび，車両前方を撮影するためのステレオカメラを設置した．また，周辺環境認識用に全方位カメラおよびLiDARを車両前方と後方に各１台ずつ設置することにより，車両全方位のカメラ画像および３次元点群座標を取得可能とした．作成した実験車両を用いて，搭乗者の顔画像，車両周辺のステレオ及び全方位画像，LiDARによる3次元座標を含む走行データを取得した．
次に取得したLiDARの3次元点群を用いたSLAM，全方位カメラの映像を用いたVisual SLAMによる自己位置推定，ステレオカメラによって得られた映像から車両前方の歩行者のリアルタイム検出および検出した歩行者までの距離推定を可能とするシステムの試作を行った．また，単眼カメラによって取得した搭乗者の顔画像を用いた顔向き推定および視線方向を推定するシステムの開発を行った．
その他，搭乗者が装着型の視線計測装置を装着した状態で実験車両を運転し，搭乗者の視線および前方映像データの取得を行った．取得したデータを解析し，パーソナルモビリティ搭乗時に搭乗者がどこを視認しているかの視線データの分析を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は実験車両を整備し，搭乗者の顔画像およびステレオカメラにより車両前方の映像，Lidarによる周辺環境の3次元データを含む走行データを取得した．取得したデータを基に以下のシステムの開発を行った．
１．搭乗者の顔画像を用いた搭乗者の顔向き推定および視線方向を推定するシステムの開発．２． LiDARおよび全方位カメラによる3次元点群を用いた自己位置推定システムの開発．３．ステレオカメラを用いた移動物体や障害物，人物検出システムの開発．4．装着型視線計測装置を用いた搭乗者の視線データの取得と認知状態推定システムの試作．
なお，運転時に視認すべき周辺環境情報の取得と分類については一部未実施であるが，これは，搭乗者の周辺環境認知状態推定に係るシステム整備とデータ収集を先行実施したためである．
|
| Strategy for Future Research Activity |
令和5年度では，引き続きパーソナルモビリティ運転時に搭乗者が周辺環境の何をどのタイミングで視認しているかを推定し，視認の有無とその対象物の可視化，および認知状態を推定するシステムの開発を目指し，以下の研究を行う．
・運転時に視認すべき周辺環境情報の取得と分類
当初計画では令和4年度に実施予定であったが，他システムの開発を先行実施したため，令和5年度はステレオカメラ画像から前方映像上の交通参加者，道路形状等の対象までの物理パラメータ（距離，速度，向き）を抽出し，それらの情報をもとに，各対象物に対して，場面に応じた危険度を数値化し，視認すべき対象物を分類するシステムの開発を行う予定である．
|
Report
(1 results)
Research Products
(1 results)
