• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

デバイスレスな教育学習環境の実用化と学習者活動の分析基盤の研究

研究課題

研究課題/領域番号 21K12163
研究機関帝京大学

研究代表者

水谷 晃三  帝京大学, 理工学部, 准教授 (30521421)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワード教育環境 / ユーザインタフェース / 深層学習 / デバイスレス / プロジェクションマッピング / Learning Analytics / 学習者状態
研究実績の概要

本研究では,デバイスレスな教育学習環境(FLE:Followable Learning Environment)の実用化とこの環境上の分析基盤について,前研究課題で得られた知見に基づいた諸問題の解決方法について検討している.FLEは,プロジェクションベースのARにより,教室内の学習者の机にユーザインタフェース(UI:User Interface)を投影する.独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにすることを目指しているほか,少ない機材で複数の机へそれぞれ異なるUIを同時に投影できるようにする仕組みの実現を目指している.
本研究課題では,(1)GPGPU技術を活用した処理能力の向上によりリアルタイム性の維持を図ること,(2)オブジェクト認識のためにDNN(Deep Neural Network)によるAIの適用を試みること,を目標としている.また,(3)学習者の行動記録とその分析基盤を実現する方法を検討することも目指している.このうち,2022年度の研究活動では(1)および(2)に関する基礎的な調査及びシステムの試作を行った.
とりわけ(2)に関しては,机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った.この方法では,机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した.机上の教科書,資料,ノート,文房具類の領域を認識し,机の領域との差分をとることで机上の空きスペースを認識する.空きスペースの大きさや形状に合わせてUIを投影する.こうすることで机上の空きスペースを有効活用できるようになり,ICTを積極的に活用した教育が展開しやすくなると考えられる.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

オブジェクト認識のためのAIの適用については,机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った.この方法では,机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した.教科書,資料,ノート,文房具類の領域を認識するために,これらのオブジェクトを学習したDNNのモデルを転移学習により作成した.作成したモデルはONNX Runtime形式に変換してFLEのシステムに組み込んだ.モデルが認識したオブジェクトと机の領域との差分をとることで机上の空きスペースを認識する.机上の空きスペースが複数存在すること,空きスペースの大きさや形状がさまざまであることをを踏まえ,これらを適切に選択する仕組みもFLEへ実装した.また,選択された空きスペースの大きさや形状に合わせて,システムが学習支援のためのメッセージを表示するダミーのUIを投影する仕組みを実装した.結果,空きスペースの形状に合わせてUIが投影されることを確認した.しかし,Mask RCNNによるオブジェクト認識に5秒以上の時間を有すること,文房具などの種類や形状はさまざまであり実用的な認識精度を得るためにはセンサの高解像度化やモデル学習に必要なデータセットの見直しが必要であること,などの課題が残った.しかしながら,これらの結果については国際会議での発表を行っている.
加えて,AIの適用に関しては,RGB-Dセンサの深度データをそのままDNNに入力することで認識精度を向上させる方法について,実際にモデル作成して評価するなどの研究を行っており知見を得た.これらの成果から,本研究はおおむね順調に進展していると判断している.

今後の研究の推進方策

2023年度の研究では引き続きAIの適用を進める.特に,机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法については,認識に数秒程度の時間を要する課題がある.そもそも,使用しているMask RCNNはCNNによる物体認識モデルとしては負荷が大きいモデルの一つである.Mask RCNNは認識した物体に対してセグメンテーションした結果を出力するものであり,Efficient Detなどのような物体の座標と大きさのみを出力するモデルと大きく異なる.そのため,認識時間の短縮を図る手段は限られているが,近年はGPGPUベースでこれを改善するための仕組みが登場しているため,これを適用することを検討している.
学習者の行動記録とその分析基盤を実現する方法に関連しては,本システム上でUIを操作するための機構の実装を検討している.すでに,その方法に関連する基礎研究に着手しており特定条件下において一定の成果を得ている.本システム上でUIを操作する機構を実装することで,システム利用中の学習者の行動記録とその分析のための仕組みの実装に本格的に着手できるようになる.学習者の行動を推測する方法については,2021年度に簡易的な実験を行っているためその知見をもとに研究を遂行する.
しかしながら,大きな課題の一つとして認識精度向上のためにセンサの性能が不足する可能性がある.現状用いているセンサは,本研究課題の前の課題から使用しているものであり最新のものに比べて性能が低い.特に本研究では,センサを天井に下方へ向けて設置するため性能不足は認識精度に大きく影響する.一方,最新センサを用いる場合は,認識モデルを再度作成したり試作システムのプログラムを修正したりするなどの作業を伴う.これらの作業工数の増大を抑えながら研究を遂行する必要があり,その手順を検討中である.

次年度使用額が生じた理由

計画当初は国際会議への投稿は2023年度に予定していた.しかしながら,机上の空きスペースにUIを投影する方法については成果を得ることができたため前倒しで投稿を行うことにした.国際会議への参加のための費用は2023年度に予算を計上していたため,これを2022年度の予算内で行う形となった.予算不足となる見通しだったが,本投稿を優先してPC関連部品の購入を見送ったこと,新型コロナ感染対策を優先してこの会議への参加をオンラインで行うことにすることなどにより支出を抑えた.その結果,次年度使用額が生じた.次年度使用額は,見送っていた部品購入や国際会議などへのさらなる参加などのために使用する計画である.

  • 研究成果

    (5件)

すべて 2023 2022 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (2件) 備考 (2件)

  • [雑誌論文] Providing Adaptive User Interfaces in Deviceless Learning Environments2022

    • 著者名/発表者名
      Kozo Mizutani
    • 雑誌名

      Proceedings of the 30th International Conference on Computers in Education

      巻: 2 ページ: 635-637

    • 査読あり / オープンアクセス
  • [学会発表] 手の動きに追従するUIにおけるタップジェスチャの認識方法の研究2023

    • 著者名/発表者名
      田村律起, 野田雄希, 水谷晃三
    • 学会等名
      情報処理学会 第85回全国大会
  • [学会発表] RGB-Dセンサの深度データを入力とした深層学習による指差しジェスチャの検出方法の検討2023

    • 著者名/発表者名
      野田雄希, 田村律起, 水谷晃三
    • 学会等名
      情報処理学会 第85回全国大会
  • [備考] デバイスレスな教育学習環境の研究

    • URL

      https://teikyo.mizutani-labo.com/?page_id=3042

  • [備考] Followable Computing - Mizutani Laboratory

    • URL

      https://teikyo.mizutani-labo.com/?page_id=881

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi