|
適応型インタフェースは、機械側から人間に適応していくものであり、具体的には、各種の生体情報行動計測により人間の思考過程、メンタルワークロードような内面状態を推定し、その状態に適応するように情報提示やタスク配分方法を動的に決定していくものである。本研究では、この適応型インタフェースの具体的応用例として、生体指標の中でも思考活動をよく反映するといわれている発話情報と視覚系指標を中心に収集し、大規模工学システムの代表である原子力プラントを対象に、プラントの総合的知識と経験が必要となるプラント異常事象診断のための訓練環境を構築することを目的としている。具体的には、当研究室で開発した視覚系指標計測機能付HMD(Eye-Sensing HMD;ES-HMD)と音声認識装置を用いて、視点位置、瞬目頻度、瞳孔径変化などの視覚系指標と発話情報をリアルタイムで計測・収集し、原子力プラントシミュレータで模擬する異常事象の原因特定作業訓練を支援する適応型CAI(Computer Aided Instruction)システムを構築する。平成11年度は、適応型CAIシステムの要素技術の実験を目的として、以下の2つのサブテーマについて実験研究を行った。
1.視点位置のオンライン処理と精度向上: ES-HMDで撮像する眼球画像は、パーソナルコンピュータ(PC)にて白黒二値化・端点抽出等の画像処理により、瞳孔径・視点位置(瞳孔中心)等の情報として計測される。適応型CAIシステムへ応用するため、これらの視覚系情報の計測精度を向上させ、さらにオンライン処理し、情報を提供するワークステーション(WS)へリアルタイムでこれらの情報を送出するための処理方法を実現した。
2.発話と視点位置を利用した思考過程の推定: 適応型CAIにおいては、思考過程の推定は必要不可欠な要素技術である。本研究では、原子力プラント異常事象診断訓練時においては、訓練生のプラント知識を「パラメータ因果関係図」として表現し、(a)自動認識された訓練生の発話と(b)ESーHIMDで得られる訓練生の視点位置を手がかりとして、リアルタイムでその思考過程を推定する手法を検討した。具体的には、原子力プラントシミュレータを用いた被爆者実験を行い、被爆者の発話や視点位置と思考過程の関連を調べた。
|
