• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study for the Practical Applications of Deviceless Learning Environment and the Framework for Learners Behavior Analysis

Research Project

Project/Area Number 21K12163
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62030:Learning support system-related
Research InstitutionTeikyo University

Principal Investigator

水谷 晃三  帝京大学, 理工学部, 准教授 (30521421)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Keywords教育環境 / ユーザインタフェース / 深層学習 / デバイスレス / プロジェクションマッピング / Learning Analytics / 学習者状態
Outline of Research at the Start

本研究では,プロジェクションマッピングを応用した新しい方式の教育学習環境の実用化と,その環境下の学習者の行動を分析するための基盤技術を研究する.近年,各国の学校教育においてタブレットなどの情報端末を学習者に1人1台ずつ配備する政策が進められているが,運用コストや教育効果などの面で課題が残っている.これらの課題の解決を目指し,本研究では情報端末を用いない新しい概念の教育学習環境の実現方法を検討する.さらに,本環境で用いているセンシング環境の特性を活かして学習者の行動を捉え,分析し,その結果を教育/学習活動に活かすための基盤の構築を試みる.

Outline of Annual Research Achievements

本研究では,デバイスレスな教育学習環境(FLE:Followable Learning Environment)の実用化とこの環境上の分析基盤について,前研究課題で得られた知見に基づいた諸問題の解決方法について検討している.FLEは,プロジェクションベースのARにより,教室内の学習者の机にユーザインタフェース(UI:User Interface)を投影する.これまでの研究で,独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにする方法について検討し,システムの試作を行ってその有効性を確認した.
今期の研究では,本コンセプトの教育学習環境の実用化に向けた改良を行うとともに,学習者の行動記録とその分析基盤を実現する方法の検討も同時に行った.前者については,本環境におけるUX(User eXperience)向上のために,UI(User Interface)の操作を行うためのジェスチャ認識方法について基礎的な検証を行った.画像ラベリングを応用した手法により,学習机だけでなく,凹凸のある手のひら上でのジェスチャに応用できる手法としてその認識精度を検証した.後者に関しては,学習者の行動を認識するための方法について検討した.その過程で,使用するセンサの変更,試作システムの全体的な見直しが必要と判断した.センサの変更については,これまでの研究で使用してきたものよりも,より精度が高いものを使用する.これにより,センサで捉えたデータに変化が生じることになるため,特に機械学習により認識する仕組みについては新たなモデル生成などの対応を進めた.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究の概要でも述べたように,今期の研究では学習者の行動を認識するための方法について検討するなかで,使用するセンサの変更,試作システムの全体的な見直しが必要と判断した.センサに関しては,これまでの研究で使用しているRGB-DセンサやUIの投影に使用するプロジェクタの故障が複数発生し,修理も困難な状況となった.同じ製品の入手も困難であり研究の遂行ができない状況となった.RGB-Dセンサに関しては,近年はより高精度なものが増えてきている.これまでの研究で,RGB-Dセンサの精度不足が原因と考えられる事象を確認していたことから,高精度なセンサを導入しつつ精度の改善を図ることを試みた.しかしながら,センサが高精度になる分,これを活かそうとするとそのデータを処理するプログラム側にも処理負荷が高くなる.実用性を維持するためには,高いフレームレートでの処理を実現することが望まれるが,そのためにもGPGPU技術を活用した処理能力の向上は不可欠である.これまでの研究では,GPGPU技術を一部分の処理に適用することを検討していたが,システムの一連の処理の流れにおいて全般的に適用することの必要性が諸検証を通じて明らかとなり,この対応を進めることにした.ただ一方で,UIの実現方法のための基礎的な研究については一定の成果が得られている.この研究はシステム全体の見直しと並行して遂行可能である.また,学習者の行動を認識するための方法に関する文献調査は継続して行っており,今後の作業に必要な知見は得られている.
さらに,学内の組織改編が行われることとなり,その主要メンバとして関わることになり,本研究のためのエフォートを下げざるを得なくなった.以上の理由により進捗を「やや遅れている」とした.

Strategy for Future Research Activity

2024年度の研究では引き続きシステム全体の見直しと学習者の行動を認識するための方法について検討,およびシステムへの実装を進める.システム全体の見直しについては,新しいセンサへの対応を進めるとともにGPGPU技術を含む並列処理を積極的に取り入れたシステム構成にすることを検討している.既に部分的にプログラムの開発を進めており,これを試作システムに組み込んでいく作業を行う計画である.また,実用性を向上するためにUIを操作するための仕組みも併せて構築する計画である.UI自体はVDI(Virtual Desktop Infrastructure)などの技術を参考にしたり活用したりして,従来のアプリケーションを本試作システム上で使用できるようにすることを目指す.
学習者の行動を認識するための方法については,まずは学習者の学習中の行動の様子をセンサで捉えてデータベース化し,これを機械学習により学習させることで行動のカテゴライズを試みる.カテゴライズした結果を集約して,リアルタイムに教授者がそれを確認できるようにする仕組みについても併せて検討する.その仕組みを設けることで,授業中の学習者の状況を教授者が把握し,必要に応じて学習者を支援したりするなどの授業改善に役立てることができるようにする.その結果として教育効果の向上が期待できるようになると考えられる.
これらの検討,試作を通じて本研究手法の評価を行い,国内外の学会等でその成果を発表していくことを計画している.

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (10 results)

All 2024 2023 2022 2021 Other

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (6 results) Remarks (3 results)

  • [Journal Article] Providing Adaptive User Interfaces in Deviceless Learning Environments2022

    • Author(s)
      Kozo Mizutani
    • Journal Title

      Proceedings of the 30th International Conference on Computers in Education

      Volume: 2 Pages: 635-637

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 手のひらに投影されたUIのための深度センサを用いたタップジェスチャの認識方法2024

    • Author(s)
      田村律起,水谷晃三
    • Organizer
      情報処理学会 第86回全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 手の動きに追従するUIにおけるタップジェスチャの認識方法の研究2023

    • Author(s)
      田村律起, 野田雄希, 水谷晃三
    • Organizer
      情報処理学会 第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] RGB-Dセンサの深度データを入力とした深層学習による指差しジェスチャの検出方法の検討2023

    • Author(s)
      野田雄希, 田村律起, 水谷晃三
    • Organizer
      情報処理学会 第85回全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] デバイスレスな教育学習環境における適応的なUIの提供方法2022

    • Author(s)
      水谷晃三
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 指差しポインティングシステムにおける指先ジェスチャの検出方法の研究2022

    • Author(s)
      野田雄希,CHING JIN WONG,水谷晃三
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 天井部に設置したRGB-Dセンサを用いた深層学習による指差しジェスチャ認識方法の検討2021

    • Author(s)
      野田雄希,水谷晃三
    • Organizer
      第20回 情報科学技術フォーラム
    • Related Report
      2021 Research-status Report
  • [Remarks] デバイスレスな教育学習環境の研究

    • URL

      https://teikyo.mizutani-labo.com/?page_id=3042

    • Related Report
      2023 Research-status Report 2022 Research-status Report 2021 Research-status Report
  • [Remarks] Followable Computing~ウェアラブルの次を目指して

    • URL

      https://teikyo.mizutani-labo.com/?page_id=881

    • Related Report
      2023 Research-status Report
  • [Remarks] Followable Computing - Mizutani Laboratory

    • URL

      https://teikyo.mizutani-labo.com/?page_id=881

    • Related Report
      2022 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi