Creation of an Adaptive Learning Environment based on Biological Information Analysis when Learning with Comic Books

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K21763
• Research Institution: Osaka University
• Principal Investigator: 白井 詩沙香 大阪大学, サイバーメディアセンター, 講師 (30757430)
• Co-Investigator(Kenkyū-buntansha): ORLOSKY JASON 大阪大学, サイバーメディアセンター, 特任准教授(常勤) (10815111) ; 長瀧 寛之 大阪電気通信大学, メディアコミュニケーションセンター, 特任准教授 (20351877) ; 武村 紀子 大阪大学, データビリティフロンティア機構, 准教授 (60733110) ; 上田 真由美 流通科学大学, 経済学部, 教授 (30402407)
• Project Period (FY): 2019-06-28 – 2022-03-31
• Keywords: 漫画 / ラーニングアナリティクス / マルチモーダル / 視線解析 / 学習支援システム

Outline of Annual Research Achievements

本研究の目的は，マンガ教材による学習時の生体情報から学習者の理解度を推定し，学習者一人一人に適した学びを提供することである。2020年度は，2019年度の実験結果を踏まえ，マンガ教材読書時の学習行動を表現するための特徴量として，「視線停留点と視線の交点の距離」と「視線停留点の滞留情報」の2つの特徴量に着目し，本特徴量を用いた学習者の主観的難易度推定手法の有効性を検討した。提案手法の有効性を検証するために，アイトラッキング機能を搭載したHMDであるVIVE pro eyeを用いてデータ収集実験を行い，コマ単位，Fixation単位，5秒単位で特徴量を抽出し，サポートベクターマシン・ランダム フォレストによる難易度推定を行った。同じ被験者のデータで学習・評価を行った結果，コマ単位でのランダムフォレストによる学習が最も精度が高く，コマ単位での難易度推定が有効であることが示唆された。異なる被験者のデータを用いて，文書情報のみ，視線情報のみ，視線情報と文書情報の両方を用いた場合で比較を行った結果，「視線停留点と視線の交点の距離」を含む視線情報を用いたサポートベクターマシンによる学習が識別率は正解率で0.84と最も高く，F1スコアにおいても0.75の精度であることを確認した。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初の研究計画では，外部環境の影響を受けづらいアイトラッキング機能を搭載したHMDを用いたマンガ教材学習時の難易度推定手法の構築に加え，コンピュータに装着するタイプの視線追跡システムを用いた難易度推定モデルの構築を行う予定であったが，新型コロナウイルス感染症の影響によりデータ収集実験を延期せざるをえず，進展がやや遅れている。

Strategy for Future Research Activity

今後の計画として，2020年度に新型コロナウイルス感染症の影響により延期したデータ収集実験を再開し，コンピュータに装着するタイプの視線追跡システムを用いた難易度推定モデル構築を行う。コンピュータに装着するタイプの実験では，視線情報に加え，顔表情，座圧，心拍等の生体情報の有効性についても検証する。さらに，難易度推定モデルを用いたマンガ教材を対象とした学習支援システムを構築し，被験者実験によりシステムの有効性を検証する。この他，これまでの研究成果報告も行う予定である。

Causes of Carryover

新型コロナウイルス感染症の影響により，実験および学会参加が延期となったことにより，次年度使用額が生じた。次年度は延期していた実験の実施するとともに，研究成果発表を積極的に行う。