Development of an flying skill evaluation VR system using AI based on line-of-sight data

2021 Fiscal Year Annual Research Report

• Project/Area Number: 18K11582
• Research Institution: Kyushu University
• Principal Investigator: 芳賀 瑛 九州大学, 附属図書館, 助教 (50738672)
• Co-Investigator(Kenkyū-buntansha): 新井 和吉 法政大学, 理工学部, 教授 (10202706) ; 常盤 祐司 法政大学, 情報メディア教育研究センター, 研究員 (70434181) ; 森田 進治 法政大学, 理工学部, 教授 (80789032)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: フライトシミュレーター / VR / パイロット / スキル学習 / 機械学習

Outline of Annual Research Achievements

本研究では学習データとして学習者の生体情報に着目し、航空操縦を学ぶ専修生を対象に、VRシミュレーション時における仮想空間上の挙動と生体情報を収集し、機械学習に基づき操縦技能を自動評価するAIシステムの開発を行うことを目標とした。本研究は4段階から成り、A.VR飛行訓練時の、学習者の生体情報と飛行計器から得られる機体情報の収集、B.機械学習による操縦技能評価に有用な特徴量の抽出、C.Bにより作成された評価AIのVRシステムへの搭載、D.Cにより構築されたシステムの運用と評価精度の向上を目的とした。
第一にVR飛行訓練時の学習者の視線情報を映像として記録できるVRシステムを用いて専修生を対象とした予備実験を実施した。システム導入前後で訓練の効果向上が期待でき、飛行課題のパフォーマンス評価指標を確立するに至った。また、VRシステムの視野角等、実機との差異の改善を行った。第二に理想的な操縦モデルを仮定した上で、システム上で操縦のパフォーマンスを自動評価する機能を開発し、実装を行った。この機能によって操縦者の技能レベルを操縦時の機体情報と視線情報を基に定量的に判定し、望ましい操縦、視線推移について学習者にフィードバックすることが可能となった。並行してシステムを在宅での使用が可能に改善したことから、新型ウイルス蔓延により遅れが生じていた専修生からのデータ収集について実施可能となり、学習データの蓄積を行った。最後に、得られたデータを基に機械学習による各操縦者の操縦技能の分類を行う航空技能評価用AIについて開発を行った。高い精度での分類が可能となり、結果をフィードバックすることでより効果的な技能の向上が期待できるに至った。また、システムを改良し、実施可能な飛行課題の範囲を拡大し、基本課題の全てを網羅したことから、今後パイロットの基礎訓練の包括的な支援が実現可能なシステムの展望が示された。