VR航空操縦時に得られる生体情報に基づくAIによる自動技能評価システムの開発

2019 Fiscal Year Research-status Report

• Project/Area Number: 18K11582
• Research Institution: Kyushu University
• Principal Investigator: 芳賀 瑛 九州大学, 附属図書館, 助教 (50738672)
• Co-Investigator(Kenkyū-buntansha): 新井 和吉 法政大学, 理工学部, 教授 (10202706) ; 常盤 祐司 法政大学, 情報メディア教育研究センター, 教授 (70434181) ; 森田 進治 法政大学, 理工学部, 教授 (80789032)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 教育工学 / 技能教育 / フライトシミュレーション / パイロット教育 / VR / 機械学習

Outline of Annual Research Achievements

本研究では学習データとして学習者の生体情報に着目し、航空操縦を学ぶ専修生を対象に、VRシミュレーション時における仮想空間上の挙動と生体情報を収集し、機械学習に基づき操縦技能を自動評価するAIシステムの開発を行うことを目標とした。またVRを用いる技能教育におけるマルチモーダルな学習データの処理に関して最適な分析手法について検討する。本研究は4段階から成り、A.VR飛行訓練時の、学習者の生体情報と飛行計器から得られる機体情報の収集、B.機械学習による操縦技能評価に有用な特徴量の抽出、C.Bにより作成された評価AIのVRシステムへの搭載、D.Cにより構築されたシステムの運用と評価精度の向上を目的とした。当該年度においてはVR飛行訓練時の学習者の視線情報を映像およびスナップショットとして記録できるVRシステムの修正を行い、理想的な操縦モデルを仮定した上で、専修生を対象として予備実験を実施し、システム導入前後の訓練効果の向上について調査した。実験の結果から、VR飛行訓練に使用するシミュレーションソフト、及びインターフェイスと実際の訓練場で使用する装置との差異による結果への影響、及び実施期間などの問題から、システムの要件定義を再検討するに至った。また、並行して開発を進めている、訓練生の操縦記録の動画から望ましい視線推移を判別し、操縦技能を自動で評価するAIのプロトタイプについて開発を完了した。今年度においてはVRシステムの修正後に、実証実験を実施する予定である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

4段階に分けた研究期間の内、VRシステムの実証実験において幾つかの問題点が見いだされ、システムの要件定義を再度行う必要が生じたこと、また予定していた検証実験が新型ウイルス蔓延に伴う緊急事態宣言により、再開の目途が立っていないことによる。

Strategy for Future Research Activity

新型ウイルス蔓延に伴う緊急事態宣言に伴う検証実験の延期を受け、被験者を集めての検証実験の実施が不可能となる場合には、システムを在宅で使用できるように仕様を変更する予定である。また、VRシステムの改良よりも、実際に使用するシミュレーター装置から得られる計器の映像を基に学習者のパフォーマンスを評価するAIシステムの開発の方に比重を置くよう計画の修正を予定している。

Causes of Carryover

本研究では目標とする航空技能評価用AIの開発を業者委託形式で実施する予定である為