A Study for the Practical Applications of Deviceless Learning Environment and the Framework for Learners Behavior Analysis
| Project/Area Number |
21K12163
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
水谷 晃三 帝京大学, 理工学部, 准教授 (30521421)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | 教育環境 / ユーザインタフェース / 深層学習 / デバイスレス / プロジェクションマッピング / Learning Analytics / 学習者状態 |
|---|
| Outline of Research at the Start |
本研究では，プロジェクションマッピングを応用した新しい方式の教育学習環境の実用化と，その環境下の学習者の行動を分析するための基盤技術を研究する．近年，各国の学校教育においてタブレットなどの情報端末を学習者に1人1台ずつ配備する政策が進められているが，運用コストや教育効果などの面で課題が残っている．これらの課題の解決を目指し，本研究では情報端末を用いない新しい概念の教育学習環境の実現方法を検討する．さらに，本環境で用いているセンシング環境の特性を活かして学習者の行動を捉え，分析し，その結果を教育／学習活動に活かすための基盤の構築を試みる．
|
| Outline of Annual Research Achievements |
本研究では，デバイスレスな教育学習環境（FLE：Followable Learning Environment）の実用化とこの環境上の分析基盤について，前研究課題で得られた知見に基づいた諸問題の解決方法について検討している．FLEは，プロジェクションベースのARにより，教室内の学習者の机にユーザインタフェース（UI:User Interface）を投影する．独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにすることを目指しているほか，少ない機材で複数の机へそれぞれ異なるUIを同時に投影できるようにする仕組みの実現を目指している．
本研究課題では，(1)GPGPU技術を活用した処理能力の向上によりリアルタイム性の維持を図ること，(2)オブジェクト認識のためにDNN（Deep Neural Network）によるAIの適用を試みること，を目標としている．また，(3)学習者の行動記録とその分析基盤を実現する方法を検討することも目指している．このうち，2022年度の研究活動では(1)および(2)に関する基礎的な調査及びシステムの試作を行った．
とりわけ(2)に関しては，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った．この方法では，机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した．机上の教科書，資料，ノート，文房具類の領域を認識し，机の領域との差分をとることで机上の空きスペースを認識する．空きスペースの大きさや形状に合わせてUIを投影する．こうすることで机上の空きスペースを有効活用できるようになり，ICTを積極的に活用した教育が展開しやすくなると考えられる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
オブジェクト認識のためのAIの適用については，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法についてシステムの試作を行った．この方法では，机上の空きスペースを認識するためにMask RCNNと呼ばれるDNNを活用した．教科書，資料，ノート，文房具類の領域を認識するために，これらのオブジェクトを学習したDNNのモデルを転移学習により作成した．作成したモデルはONNX Runtime形式に変換してFLEのシステムに組み込んだ．モデルが認識したオブジェクトと机の領域との差分をとることで机上の空きスペースを認識する．机上の空きスペースが複数存在すること，空きスペースの大きさや形状がさまざまであることをを踏まえ，これらを適切に選択する仕組みもFLEへ実装した．また，選択された空きスペースの大きさや形状に合わせて，システムが学習支援のためのメッセージを表示するダミーのUIを投影する仕組みを実装した．結果，空きスペースの形状に合わせてUIが投影されることを確認した．しかし，Mask RCNNによるオブジェクト認識に5秒以上の時間を有すること，文房具などの種類や形状はさまざまであり実用的な認識精度を得るためにはセンサの高解像度化やモデル学習に必要なデータセットの見直しが必要であること，などの課題が残った．しかしながら，これらの結果については国際会議での発表を行っている．
加えて，AIの適用に関しては，RGB-Dセンサの深度データをそのままDNNに入力することで認識精度を向上させる方法について，実際にモデル作成して評価するなどの研究を行っており知見を得た．これらの成果から，本研究はおおむね順調に進展していると判断している．
|
| Strategy for Future Research Activity |
2023年度の研究では引き続きAIの適用を進める．特に，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法については，認識に数秒程度の時間を要する課題がある．そもそも，使用しているMask RCNNはCNNによる物体認識モデルとしては負荷が大きいモデルの一つである．Mask RCNNは認識した物体に対してセグメンテーションした結果を出力するものであり，Efficient Detなどのような物体の座標と大きさのみを出力するモデルと大きく異なる．そのため，認識時間の短縮を図る手段は限られているが，近年はGPGPUベースでこれを改善するための仕組みが登場しているため，これを適用することを検討している．
学習者の行動記録とその分析基盤を実現する方法に関連しては，本システム上でUIを操作するための機構の実装を検討している．すでに，その方法に関連する基礎研究に着手しており特定条件下において一定の成果を得ている．本システム上でUIを操作する機構を実装することで，システム利用中の学習者の行動記録とその分析のための仕組みの実装に本格的に着手できるようになる．学習者の行動を推測する方法については，2021年度に簡易的な実験を行っているためその知見をもとに研究を遂行する．
しかしながら，大きな課題の一つとして認識精度向上のためにセンサの性能が不足する可能性がある．現状用いているセンサは，本研究課題の前の課題から使用しているものであり最新のものに比べて性能が低い．特に本研究では，センサを天井に下方へ向けて設置するため性能不足は認識精度に大きく影響する．一方，最新センサを用いる場合は，認識モデルを再度作成したり試作システムのプログラムを修正したりするなどの作業を伴う．これらの作業工数の増大を抑えながら研究を遂行する必要があり，その手順を検討中である．
|
Report
(2 results)
Research Products
(8 results)
