VR航空操縦時に得られる生体情報に基づくAIによる自動技能評価システムの開発

2020 Fiscal Year Research-status Report

• Project/Area Number: 18K11582
• Research Institution: Kyushu University
• Principal Investigator: 芳賀 瑛 九州大学, 附属図書館, 助教 (50738672)
• Co-Investigator(Kenkyū-buntansha): 新井 和吉 法政大学, 理工学部, 教授 (10202706) ; 常盤 祐司 法政大学, 情報メディア教育研究センター, 研究員 (70434181) ; 森田 進治 法政大学, 理工学部, 教授 (80789032)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 教育工学 / 技能教育 / フライトシミュレーション / パイロット教育 / VR / 機械学習

Outline of Annual Research Achievements

本研究では学習データとして学習者の生体情報に着目し、航空操縦を学ぶ専修生を対象に、VRシミュレーション時における仮想空間上の挙動と生体情報を収集し、機械学習に基づき操縦技能を自動評価するAIシステムの開発を行うことを目標とした。本研究は4段階から成り、A.VR飛行訓練時の、学習者の生体情報と飛行計器から得られる機体情報の収集、B.機械学習による操縦技能評価に有用な特徴量の抽出、C.Bにより作成された評価AIのVRシステムへの搭載、D.Cにより構築されたシステムの運用と評価精度の向上を目的とした。当該年度においては、VR飛行訓練時の学習者の視線情報を映像として記録するVRシステムについて、理想的な操縦モデルを仮定した上で、操縦のパフォーマンスを自動評価する機能を開発し、実装を行った。また、VRシステムの視野角等の表示上の問題について改善した。この機能によって操縦者の技能レベルを操縦時の機体情報と視線情報を基にした定量的分類、及び望ましい操縦、視線推移について学習者へのフィードバックが可能となった。システムを在宅でも使用できるよう改良したことから、新型ウイルス蔓延により遅れが生じていた専修生からのデータ収集についても展望が開ける状態となり、学習データの蓄積及び機械学習による解析環境の構築についても実施した。最終年度においてはこのデータを基に、各操縦者に固有の操縦パターンの解析、及び並行して開発を進めている航空技能評価用AIについて実装、評価運用を実施する予定である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

4段階に分けた研究期間の内、予定していた専修生による操縦データの蓄積、及びシステムの評価実験について、新型ウイルス蔓延に伴う緊急事態宣言に伴い遅延が生じている。

Strategy for Future Research Activity

新型ウイルス蔓延に伴う緊急事態宣言に伴う実験の延期を受け、システムを在宅でも使用可能なものに改良し、データの蓄積を進めている。操縦技能レベルの判定については既に理想的な操縦モデル、及び評価指標を確立したことから、蓄積された学習データに基づく操縦者固有の操縦パターン解析を踏まえたより実用性の高いシステムの完成を目指す。

Causes of Carryover

新型ウイルス蔓延に伴い、業務委託形式を予定している航空技能評価用AIの開発について遅延が生じた為