2022 Fiscal Year Research-status Report
A Study for the Practical Applications of Deviceless Learning Environment and the Framework for Learners Behavior Analysis
| Project/Area Number |
21K12163
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
水谷 晃三 帝京大学, 理工学部, 准教授 (30521421)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 教育環境 / ユーザインタフェース / 深層学習 / デバイスレス / プロジェクションマッピング / Learning Analytics / 学習者状態 |
|---|
| Outline of Annual Research Achievements |
本研究では，デバイスレスな教育学習環境（FLE：Followable Learning Environment）の実用化とこの環境上の分析基盤について，前研究課題で得られた知見に基づいた諸問題の解決方法について検討している．FLEは，プロジェクションベースのARにより，教室内の学習者の机にユーザインタフェース（UI:User Interface）を投影する．独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにすることを目指しているほか，少ない機材で複数の机へそれぞれ異なるUIを同時に投影できるようにする仕組みの実現を目指している．
本研究課題では，(1)GPGPU技術を活用した処理能力の向上によりリアルタイム性の維持を図ること，(2)オブジェクト認識のためにDNN（Deep Neural Network）によるAIの適用を試みること，を目標としている．また，(3)学習者の行動記録とその分析基盤を実現する方法を検討することも目指している．このうち，2022年度の研究活動では(1)および(2)に関する基礎的な調査及びシステムの試作を行った．
とりわけ(2)に関しては，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った．この方法では，机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した．机上の教科書，資料，ノート，文房具類の領域を認識し，机の領域との差分をとることで机上の空きスペースを認識する．空きスペースの大きさや形状に合わせてUIを投影する．こうすることで机上の空きスペースを有効活用できるようになり，ICTを積極的に活用した教育が展開しやすくなると考えられる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
オブジェクト認識のためのAIの適用については，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った．この方法では，机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した．教科書，資料，ノート，文房具類の領域を認識するために，これらのオブジェクトを学習したDNNのモデルを転移学習により作成した．作成したモデルはONNX Runtime形式に変換してFLEのシステムに組み込んだ．モデルが認識したオブジェクトと机の領域との差分をとることで机上の空きスペースを認識する．机上の空きスペースが複数存在すること，空きスペースの大きさや形状がさまざまであることをを踏まえ，これらを適切に選択する仕組みもFLEへ実装した．また，選択された空きスペースの大きさや形状に合わせて，システムが学習支援のためのメッセージを表示するダミーのUIを投影する仕組みを実装した．結果，空きスペースの形状に合わせてUIが投影されることを確認した．しかし，Mask RCNNによるオブジェクト認識に5秒以上の時間を有すること，文房具などの種類や形状はさまざまであり実用的な認識精度を得るためにはセンサの高解像度化やモデル学習に必要なデータセットの見直しが必要であること，などの課題が残った．しかしながら，これらの結果については国際会議での発表を行っている．
加えて，AIの適用に関しては，RGB-Dセンサの深度データをそのままDNNに入力することで認識精度を向上させる方法について，実際にモデル作成して評価するなどの研究を行っており知見を得た．これらの成果から，本研究はおおむね順調に進展していると判断している．
|
| Strategy for Future Research Activity |
2023年度の研究では引き続きAIの適用を進める．特に，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法については，認識に数秒程度の時間を要する課題がある．そもそも，使用しているMask RCNNはCNNによる物体認識モデルとしては負荷が大きいモデルの一つである．Mask RCNNは認識した物体に対してセグメンテーションした結果を出力するものであり，Efficient Detなどのような物体の座標と大きさのみを出力するモデルと大きく異なる．そのため，認識時間の短縮を図る手段は限られているが，近年はGPGPUベースでこれを改善するための仕組みが登場しているため，これを適用することを検討している．
学習者の行動記録とその分析基盤を実現する方法に関連しては，本システム上でUIを操作するための機構の実装を検討している．すでに，その方法に関連する基礎研究に着手しており特定条件下において一定の成果を得ている．本システム上でUIを操作する機構を実装することで，システム利用中の学習者の行動記録とその分析のための仕組みの実装に本格的に着手できるようになる．学習者の行動を推測する方法については，2021年度に簡易的な実験を行っているためその知見をもとに研究を遂行する．
しかしながら，大きな課題の一つとして認識精度向上のためにセンサの性能が不足する可能性がある．現状用いているセンサは，本研究課題の前の課題から使用しているものであり最新のものに比べて性能が低い．特に本研究では，センサを天井に下方へ向けて設置するため性能不足は認識精度に大きく影響する．一方，最新センサを用いる場合は，認識モデルを再度作成したり試作システムのプログラムを修正したりするなどの作業を伴う．これらの作業工数の増大を抑えながら研究を遂行する必要があり，その手順を検討中である．
|
| Causes of Carryover |
計画当初は国際会議への投稿は2023年度に予定していた．しかしながら，机上の空きスペースにUIを投影する方法については成果を得ることができたため前倒しで投稿を行うことにした．国際会議への参加のための費用は2023年度に予算を計上していたため，これを2022年度の予算内で行う形となった．予算不足となる見通しだったが，本投稿を優先してPC関連部品の購入を見送ったこと，新型コロナ感染対策を優先してこの会議への参加をオンラインで行うことにすることなどにより支出を抑えた．その結果，次年度使用額が生じた．次年度使用額は，見送っていた部品購入や国際会議などへのさらなる参加などのために使用する計画である．
|
Research Products
(5 results)
