Creation of an Adaptive Learning Environment based on Biological Information Analysis when Learning with Comic Books
| Project/Area Number |
19K21763
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 9:Education and related fields
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
白井 詩沙香 大阪大学, サイバーメディアセンター, 講師 (30757430)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
ORLOSKY JASON 大阪大学, サイバーメディアセンター, 特任准教授(常勤) (10815111)
長瀧 寛之 大阪電気通信大学, メディアコミュニケーションセンター, 特任准教授 (20351877)
武村 紀子 大阪大学, データビリティフロンティア機構, 准教授 (60733110)
上田 真由美 流通科学大学, 経済学部, 教授 (30402407)
|
|---|
| Project Period (FY) |
2019-06-28 – 2022-03-31
|
| Project Status |
Granted (Fiscal Year 2020)
|
| Budget Amount *help |
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 漫画 / ラーニングアナリティクス / マルチモーダル / 視線解析 / 学習支援システム |
|---|
| Outline of Research at the Start |
デジタル教科書の導入に向けて，教材のデジタル化が進められている。デジタル化の利点の一つとして，教材による学習時の行動を収集し，学習支援に活用できることがあげられる。しかし，学習教材として身近なものになりつつあるマンガ教材はセリフや図といったマルチモーダル性を有するため，学習時の詳細なログを取得することは容易ではない。本研究の目的は，マンガ教材学習時の生体情報から理解度を推定し，学習者一人一人に適した学びを提供することである。研究期間内に視線追跡情報による学習者の理解度推定モデルを構築，マンガ教材学習時の理解度を用いた個別適応型システムの開発および教育実践による評価を行う。
|
| Outline of Annual Research Achievements |
本研究の目的は，マンガ教材による学習時の生体情報から学習者の理解度を推定し，学習者一人一人に適した学びを提供することである。2020年度は，2019年度の実験結果を踏まえ，マンガ教材読書時の学習行動を表現するための特徴量として，「視線停留点と視線の交点の距離」と「視線停留点の滞留情報」の2つの特徴量に着目し，本特徴量を用いた学習者の主観的難易度推定手法の有効性を検討した。提案手法の有効性を検証するために，アイトラッキング機能を搭載したHMDであるVIVE pro eyeを用いてデータ収集実験を行い，コマ単位，Fixation単位，5秒単位で特徴量を抽出し，サポートベクターマシン・ランダム フォレストによる難易度推定を行った。同じ被験者のデータで学習・評価を行った結果，コマ単位でのランダムフォレストによる学習が最も精度が高く，コマ単位での難易度推定が有効であることが示唆された。異なる被験者のデータを用いて，文書情報のみ，視線情報のみ，視線情報と文書情報の両方を用いた場合で比較を行った結果，「視線停留点と視線の交点の距離」を含む視線情報を用いたサポートベクターマシンによる学習が識別率は正解率で0.84と最も高く，F1スコアにおいても0.75の精度であることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の研究計画では，外部環境の影響を受けづらいアイトラッキング機能を搭載したHMDを用いたマンガ教材学習時の難易度推定手法の構築に加え，コンピュータに装着するタイプの視線追跡システムを用いた難易度推定モデルの構築を行う予定であったが，新型コロナウイルス感染症の影響によりデータ収集実験を延期せざるをえず，進展がやや遅れている。
|
| Strategy for Future Research Activity |
今後の計画として，2020年度に新型コロナウイルス感染症の影響により延期したデータ収集実験を再開し，コンピュータに装着するタイプの視線追跡システムを用いた難易度推定モデル構築を行う。コンピュータに装着するタイプの実験では，視線情報に加え，顔表情，座圧，心拍等の生体情報の有効性についても検証する。さらに，難易度推定モデルを用いたマンガ教材を対象とした学習支援システムを構築し，被験者実験によりシステムの有効性を検証する。この他，これまでの研究成果報告も行う予定である。
|
Report
(2 results)
Research Products
(2 results)
