• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Creation of an Adaptive Learning Environment based on Biological Information Analysis when Learning with Comic Books

Research Project

Project/Area Number 19K21763
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionOsaka University

Principal Investigator

白井 詩沙香  大阪大学, サイバーメディアセンター, 講師 (30757430)

Co-Investigator(Kenkyū-buntansha) ORLOSKY JASON  大阪大学, サイバーメディアセンター, 特任准教授(常勤) (10815111)
長瀧 寛之  大阪電気通信大学, メディアコミュニケーションセンター, 特任准教授 (20351877)
武村 紀子  大阪大学, データビリティフロンティア機構, 准教授 (60733110)
上田 真由美  流通科学大学, 経済学部, 教授 (30402407)
Project Period (FY) 2019-06-28 – 2022-03-31
Project Status Granted (Fiscal Year 2020)
Budget Amount *help
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywords漫画 / ラーニングアナリティクス / マルチモーダル / 視線解析 / 学習支援システム
Outline of Research at the Start

デジタル教科書の導入に向けて,教材のデジタル化が進められている。デジタル化の利点の一つとして,教材による学習時の行動を収集し,学習支援に活用できることがあげられる。しかし,学習教材として身近なものになりつつあるマンガ教材はセリフや図といったマルチモーダル性を有するため,学習時の詳細なログを取得することは容易ではない。本研究の目的は,マンガ教材学習時の生体情報から理解度を推定し,学習者一人一人に適した学びを提供することである。研究期間内に視線追跡情報による学習者の理解度推定モデルを構築,マンガ教材学習時の理解度を用いた個別適応型システムの開発および教育実践による評価を行う。

Outline of Annual Research Achievements

本研究の目的は,マンガ教材による学習時の生体情報から学習者の理解度を推定し,学習者一人一人に適した学びを提供することである。2020年度は,2019年度の実験結果を踏まえ,マンガ教材読書時の学習行動を表現するための特徴量として,「視線停留点と視線の交点の距離」と「視線停留点の滞留情報」の2つの特徴量に着目し,本特徴量を用いた学習者の主観的難易度推定手法の有効性を検討した。提案手法の有効性を検証するために,アイトラッキング機能を搭載したHMDであるVIVE pro eyeを用いてデータ収集実験を行い,コマ単位,Fixation単位,5秒単位で特徴量を抽出し,サポートベクターマシン・ランダム フォレストによる難易度推定を行った。同じ被験者のデータで学習・評価を行った結果,コマ単位でのランダムフォレストによる学習が最も精度が高く,コマ単位での難易度推定が有効であることが示唆された。異なる被験者のデータを用いて,文書情報のみ,視線情報のみ,視線情報と文書情報の両方を用いた場合で比較を行った結果,「視線停留点と視線の交点の距離」を含む視線情報を用いたサポートベクターマシンによる学習が識別率は正解率で0.84と最も高く,F1スコアにおいても0.75の精度であることを確認した。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初の研究計画では,外部環境の影響を受けづらいアイトラッキング機能を搭載したHMDを用いたマンガ教材学習時の難易度推定手法の構築に加え,コンピュータに装着するタイプの視線追跡システムを用いた難易度推定モデルの構築を行う予定であったが,新型コロナウイルス感染症の影響によりデータ収集実験を延期せざるをえず,進展がやや遅れている。

Strategy for Future Research Activity

今後の計画として,2020年度に新型コロナウイルス感染症の影響により延期したデータ収集実験を再開し,コンピュータに装着するタイプの視線追跡システムを用いた難易度推定モデル構築を行う。コンピュータに装着するタイプの実験では,視線情報に加え,顔表情,座圧,心拍等の生体情報の有効性についても検証する。さらに,難易度推定モデルを用いたマンガ教材を対象とした学習支援システムを構築し,被験者実験によりシステムの有効性を検証する。この他,これまでの研究成果報告も行う予定である。

Report

(2 results)
  • 2020 Research-status Report
  • 2019 Research-status Report

Research Products

(2 results)

All 2020 2019

All Journal Article (2 results) (of which Peer Reviewed: 2 results)

  • [Journal Article] Exploring Pupillometry as a Method to Evaluate Reading Comprehension in VR-based Educational Comics2020

    • Author(s)
      Kenya Sakamoto, Shizuka Shirai, Jason Orlosky, Hiroyuki Nagataki, Noriko Takemura, Mehrasa Alizadeh, Mayumi Ueda
    • Journal Title

      2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)

      Pages: 422-426

    • DOI

      10.1109/vrw50115.2020.00090

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 情報システムにおけるデータベースの仕組みを学ぶ共通教科「情報」授業の提案と実践2019

    • Author(s)
      白井詩沙香, 長瀧寛之, 竹中一平, 武本康宏, 田邊則彦, 兼宗進
    • Journal Title

      情報処理学会論文誌 教育とコンピュータ(TCE)

      Volume: 5(3) Pages: 23-34

    • Related Report
      2019 Research-status Report
    • Peer Reviewed

URL: 

Published: 2019-07-04   Modified: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi