VR航空操縦時に得られる生体情報に基づくAIによる自動技能評価システムの開発

2018 Fiscal Year Research-status Report

• Project/Area Number: 18K11582
• Research Institution: Kyushu University
• Principal Investigator: 芳賀 瑛 九州大学, 附属図書館, 助教 (50738672)
• Co-Investigator(Kenkyū-buntansha): 新井 和吉 法政大学, 理工学部, 教授 (10202706) ; 常盤 祐司 法政大学, 情報メディア教育研究センター, 教授 (70434181) ; 森田 進治 法政大学, 理工学部, 教授 (80789032)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 教育工学 / スキル学習 / フライトシミュレーション / パイロット教育 / Virtual Reality / 機械学習

Outline of Annual Research Achievements

本研究では大規模な学習データとして学習者の生体情報に着目し、航空操縦を学ぶ専修生を対象に、VRシミュレーション時における仮想空間上の挙動と生体情報を収集し、機械学習に基づき操縦技能を自動評価するAIシステムの開発を行うことを目標とする. またVRを用いる技能教育におけるマルチモーダルな学習データの処理に関して最適な分析手法について検討する.本研究は4段階から成り、
A．VR飛行訓練時の、学習者の生体情報と飛行計器から得られる機体情報の収集
B．機械学習による操縦技能評価に有用な特徴量の自動抽出
C．Bにより作成された評価AIのVRシステムへの搭載
D．Cにより構築されたシステムの運用と評価精度の向上を目標とする。当該年度においてはVR飛行訓練時の各種生体情報を取得可能な環境構築を主に行った。学習者の視線位置座標とスナップショットを記録できるVRシステムを開発し、各種センサー群から得られたデータとの関連について先行調査を行った。調査結果を基に、飛行訓練において有用な生体情報について選定を行い、理想的な操縦モデルを構築するに至った。また、VRシステムにおいて修正が必要な箇所が指摘されたことから、対応を行っている。並行して機械学習により、被験者の操縦が望ましい操縦となっているかを判別する機能の開発に着手した。訓練生の操縦記録の動画から望ましい視線推移を判別し、操縦技能を自動で評価するAIのプロトタイプを作ることを目標に、Python3.5, Tensorflowを使用して開発を進めている。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

4段階に分けた研究期間のうち、第1段階における生体情報取得環境の構築に関して、使用するVRデバイスの画像解像度と実行ソフトウェアのシミュレーターとしての完成度を更に高める必要性が示された。デバイスの画像解像度に関しては、次年度7月頃に新機種の登場が予定されていることから仕様の変更を計画しており、実際の操縦時における計測実験については延期したことに拠る。

Strategy for Future Research Activity

システムの解像度及び操作性の改良を行い、航空操縦学専修生と現役パイロットを対象にVRシステムを試用し、AI開発の元となる学習データの蓄積に着手する. VRシステムの計測結果から各情報のパターンと関係性についてまとめ、論文を投稿すると共に、自動的に操縦技能の判定を行うシステムの要件定義を完了し、開発に着手する。

Causes of Carryover

今年度の調査結果を基に、次年度中旬以降に自動評価システムの開発を業務委託形式で実施する予定である為。