視線データの学習による専門技能の熟練度可視化手法の構築

• Project/Area Number: 23K16932
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Osaka Seikei University
• Principal Investigator: 廣江 葵 大阪成蹊大学, データサイエンス学部, 助教 (40963228)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2023: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
• Keywords: 視線計測 / 技能伝承 / 顕著性マップ / コンピュータビジョン / ヒューマンインタフェース / 内視鏡

Outline of Research at the Start

近年、熟練した技能の伝承や機械での再現を可能にするために、熟練者の所謂「カン」 や「コツ」を視線計測により可視化する技術開発が様々な分野で行われている。しかし、現状では眼球運動や瞳孔反応の単純なグラフ化に留まり、視線データを使って熟練者の「カ ン・コツ」を可視化する実用的な技術はまだ確立されていない。本研究では、熟練者の視線データと見ている画像を組み合わせて機械学習させた、EAマップを考案し、この独自技術を基盤として熟練者の視線を可視化・推定可能とする手法を新たに確立することを目指す。

Outline of Annual Research Achievements

本研究では、視線データを基にあるスキルに対する熟練度を可視化する方法を開発することを目的としている。特に、作業中の感覚のほぼ全てを目からの情報に依存している内視鏡検査に注目した。この分野では、医師の熟練度が患者の診断や治療の精度に直接影響するため、その熟練度を客観的に評価する手法の確立が重要である。
顕著性マップから着想を得て、新たに独自開発するExpert Attention Map（EAマップ）を用いることで、これまでのスキャンパスやヒートマップといった従来の方法では可視化できなかった視線データの詳細な可視化を目指している。EAマップは、熟練者が注視する重要なポイントを視覚的に強調し、本計画の研究では医師の視線の動きとその熟練度の関連性を明確に示すことができるようになる。
これまでの進捗として、内視鏡医の先生方と綿密に相談を重ね、データ取得時に被験者が閲覧する内視鏡画像の選定を行った。また、視線計測実験システムの構築した。このシステムは、被験者が内視鏡画像を観察する際の視線データを高精度で収集・解析することができるように設計する。
今後は、収集した視線データを基にEAマップを生成し、その有効性を検証する予定である。具体的には、検査経験の長い医師・検査技師と研修医などの経験の浅い医師・検査技師の視線パターンの違いをEAマップ上で可視化し、熟練度の指標としての有効性を評価する。これにより、内視鏡検査のトレーニングや評価のための新たなツールとしての可能性を探求していく。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

視線計測実験に使用する視線計測装置とその実験作成・分析ソフトウェアの価格高騰により、実験作成・分析ソフトウェアの購入を断念し、ソフトウェアの自作が必要となったため。

Strategy for Future Research Activity

計画が遅れていることの大きな要因となっているPsychopyを用いた視線計測を伴う心理実験を作成するソフトウェアを早急に完成させることを第一目標とする、ソフトウェアの完成後、胃カメラ画像データセットを使用した心理実験を行い、内視鏡医・内視鏡検査技師の視線を取得しする。得られたデータから眼球運動・眼球の分布をベースとしたEAマップモデルを構築する。また、その成果は国内学会・国際学会で発表する。