• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Creation of an Adaptive Learning Environment based on Biological Information Analysis when Learning with Comic Books

Research Project

Project/Area Number 19K21763
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionOsaka University

Principal Investigator

Shirai Shizuka  大阪大学, サイバーメディアセンター, 講師 (30757430)

Co-Investigator(Kenkyū-buntansha) ORLOSKY JASON  大阪大学, サイバーメディアセンター, 特任准教授(常勤) (10815111)
長瀧 寛之  大阪電気通信大学, メディアコミュニケーションセンター, 特任准教授 (20351877)
武村 紀子  九州工業大学, 大学院情報工学研究院, 准教授 (60733110)
上田 真由美  流通科学大学, 経済学部, 教授 (30402407)
Project Period (FY) 2019-06-28 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywords漫画 / ラーニングアナリティクス / 視線解析 / 学習支援システム / マルチモーダル
Outline of Research at the Start

デジタル教科書の導入に向けて,教材のデジタル化が進められている。デジタル化の利点の一つとして,教材による学習時の行動を収集し,学習支援に活用できることがあげられる。しかし,学習教材として身近なものになりつつあるマンガ教材はセリフや図といったマルチモーダル性を有するため,学習時の詳細なログを取得することは容易ではない。本研究の目的は,マンガ教材学習時の生体情報から理解度を推定し,学習者一人一人に適した学びを提供することである。研究期間内に視線追跡情報による学習者の理解度推定モデルを構築,マンガ教材学習時の理解度を用いた個別適応型システムの開発および教育実践による評価を行う。

Outline of Final Research Achievements

This study has developed a subjective difficulty estimation model using eye-tracking data while reading educational comics with the aim of realizing adaptive learning support in learning with educational comics. We examined the effectiveness of 28 features, including the proposed three new features called "Variance in Gaze Convergence," "Movement between Panels," and "Movement between Tiles." As a result of the experiment, we found the effectiveness of the proposed model in estimating subjective difficulty in learning with educational comics in Virtual Reality space.

Academic Significance and Societal Importance of the Research Achievements

マンガの教育的利用に関する歴史はまだ浅く,これまでは教育実践による有用性の評価に力が注がれていた。本研究課題では,新しい試みとして,マンガ教材学習時の視線データに基づく学習行動解析に取り組み,視線データに基づく主観的難易度推定モデルを提案することができた。また,VR空間での学習支援の観点からも新たな可能性を示すことができた。

Report

(6 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (8 results)

All 2024 2023 2022 2021 2020 2019 Other

All Int'l Joint Research (2 results) Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (3 results)

  • [Int'l Joint Research] Augusta University(米国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Augusta University(米国)

    • Related Report
      2022 Research-status Report
  • [Journal Article] Subjective Difficulty Estimation of Educational Comics Using Gaze Features2023

    • Author(s)
      SAKAMOTO Kenya、SHIRAI Shizuka、TAKEMURA Noriko、ORLOSKY Jason、NAGATAKI Hiroyuki、UEDA Mayumi、URANISHI Yuki、TAKEMURA Haruo
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 5 Pages: 1038-1048

    • DOI

      10.1587/transinf.2022EDP7100

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-05-01
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Exploring Pupillometry as a Method to Evaluate Reading Comprehension in VR-based Educational Comics2020

    • Author(s)
      Kenya Sakamoto, Shizuka Shirai, Jason Orlosky, Hiroyuki Nagataki, Noriko Takemura, Mehrasa Alizadeh, Mayumi Ueda
    • Journal Title

      2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)

      Pages: 422-426

    • DOI

      10.1109/vrw50115.2020.00090

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 情報システムにおけるデータベースの仕組みを学ぶ共通教科「情報」授業の提案と実践2019

    • Author(s)
      白井詩沙香, 長瀧寛之, 竹中一平, 武本康宏, 田邊則彦, 兼宗進
    • Journal Title

      情報処理学会論文誌 教育とコンピュータ(TCE)

      Volume: 5(3) Pages: 23-34

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] 視線,表情,心拍,脳波を用いたVR空間でのマンガ教材読書時の主観的難易度推定2024

    • Author(s)
      石塚 裕之, 坂本 賢哉, 白井 詩沙香, Jason Orlosky, 平尾 悠太朗, Monica Perusquia Hernandez, 磯山 直也, 内山 英昭, 清川 清
    • Organizer
      電子情報通信学会 メディアエクスペリエンス・バーチャル環境基礎研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] マンガ教材読書時のリアルタイム難易度推定に向けた視線ヒートマップ分解能の検討2022

    • Author(s)
      坂本賢哉, 白井詩沙香, 武村紀子, Orlosky Jason, 長瀧寛之, 上田真由美, 浦西友樹, 竹村治雄
    • Organizer
      第27回日本バーチャルリアリティ学会大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 視線情報に基づくVR空間でのマンガ教材読書時の主観的難易度推定2021

    • Author(s)
      坂本賢哉, 白井詩沙香, 武村紀子, 長瀧寛之, 上田真由美, 浦西友樹, 竹村治雄
    • Organizer
      日本バーチャルリアリティ学会 第64回複合現実感研究会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2019-07-04   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi