2023 Fiscal Year Research-status Report
A Study for the Practical Applications of Deviceless Learning Environment and the Framework for Learners Behavior Analysis
| Project/Area Number |
21K12163
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
水谷 晃三 帝京大学, 理工学部, 准教授 (30521421)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 教育環境 / ユーザインタフェース / 深層学習 / デバイスレス / プロジェクションマッピング / Learning Analytics / 学習者状態 |
|---|
| Outline of Annual Research Achievements |
本研究では，デバイスレスな教育学習環境（FLE：Followable Learning Environment）の実用化とこの環境上の分析基盤について，前研究課題で得られた知見に基づいた諸問題の解決方法について検討している．FLEは，プロジェクションベースのARにより，教室内の学習者の机にユーザインタフェース（UI:User Interface）を投影する．これまでの研究で，独自の方法によりUIの大きさや形状を自由に変えながら投影できるようにする方法について検討し，システムの試作を行ってその有効性を確認した．
今期の研究では，本コンセプトの教育学習環境の実用化に向けた改良を行うとともに，学習者の行動記録とその分析基盤を実現する方法の検討も同時に行った．前者については，本環境におけるUX（User eXperience）向上のために，UI（User Interface）の操作を行うためのジェスチャ認識方法について基礎的な検証を行った．画像ラベリングを応用した手法により，学習机だけでなく，凹凸のある手のひら上でのジェスチャに応用できる手法としてその認識精度を検証した．後者に関しては，学習者の行動を認識するための方法について検討した．その過程で，使用するセンサの変更，試作システムの全体的な見直しが必要と判断した．センサの変更については，これまでの研究で使用してきたものよりも，より精度が高いものを使用する．これにより，センサで捉えたデータに変化が生じることになるため，特に機械学習により認識する仕組みについては新たなモデル生成などの対応を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
研究の概要でも述べたように，今期の研究では学習者の行動を認識するための方法について検討するなかで，使用するセンサの変更，試作システムの全体的な見直しが必要と判断した．センサに関しては，これまでの研究で使用しているRGB-DセンサやUIの投影に使用するプロジェクタの故障が複数発生し，修理も困難な状況となった．同じ製品の入手も困難であり研究の遂行ができない状況となった．RGB-Dセンサに関しては，近年はより高精度なものが増えてきている．これまでの研究で，RGB-Dセンサの精度不足が原因と考えられる事象を確認していたことから，高精度なセンサを導入しつつ精度の改善を図ることを試みた．しかしながら，センサが高精度になる分，これを活かそうとするとそのデータを処理するプログラム側にも処理負荷が高くなる．実用性を維持するためには，高いフレームレートでの処理を実現することが望まれるが，そのためにもGPGPU技術を活用した処理能力の向上は不可欠である．これまでの研究では，GPGPU技術を一部分の処理に適用することを検討していたが，システムの一連の処理の流れにおいて全般的に適用することの必要性が諸検証を通じて明らかとなり，この対応を進めることにした．ただ一方で，UIの実現方法のための基礎的な研究については一定の成果が得られている．この研究はシステム全体の見直しと並行して遂行可能である．また，学習者の行動を認識するための方法に関する文献調査は継続して行っており，今後の作業に必要な知見は得られている．
さらに，学内の組織改編が行われることとなり，その主要メンバとして関わることになり，本研究のためのエフォートを下げざるを得なくなった．以上の理由により進捗を「やや遅れている」とした．
|
| Strategy for Future Research Activity |
2024年度の研究では引き続きシステム全体の見直しと学習者の行動を認識するための方法について検討，およびシステムへの実装を進める．システム全体の見直しについては，新しいセンサへの対応を進めるとともにGPGPU技術を含む並列処理を積極的に取り入れたシステム構成にすることを検討している．既に部分的にプログラムの開発を進めており，これを試作システムに組み込んでいく作業を行う計画である．また，実用性を向上するためにUIを操作するための仕組みも併せて構築する計画である．UI自体はVDI（Virtual Desktop Infrastructure）などの技術を参考にしたり活用したりして，従来のアプリケーションを本試作システム上で使用できるようにすることを目指す．
学習者の行動を認識するための方法については，まずは学習者の学習中の行動の様子をセンサで捉えてデータベース化し，これを機械学習により学習させることで行動のカテゴライズを試みる．カテゴライズした結果を集約して，リアルタイムに教授者がそれを確認できるようにする仕組みについても併せて検討する．その仕組みを設けることで，授業中の学習者の状況を教授者が把握し，必要に応じて学習者を支援したりするなどの授業改善に役立てることができるようにする．その結果として教育効果の向上が期待できるようになると考えられる．
これらの検討，試作を通じて本研究手法の評価を行い，国内外の学会等でその成果を発表していくことを計画している．
|
| Causes of Carryover |
研究概要に示したように，使用しているRDB-Dセンサの故障，UIを投影するために使用するプロジェクタの故障などが発生した．新しくRGB-Dセンサを購入するなどの計画外の支出が生じた．また，この新しく購入したRGB-Dセンサについては，故障の補填分とした購入したのちに販売終了の通知が報道された．これはつまり，RGB-Dセンサを追加した検証を今年度の研究で行いたい場合に，別の製品を選定しなおす必要が生じることでもある．別の製品を選定すれば，試作中のシステムもこれに伴い改変が必要になるなど影響が生じ，研究の進捗がさらに遅れる要因にもなる．そこで，急きょセンサを追加購入するなどの対応を行った．
また，試作中のシステムの全般的な見直しを行うなど計画を変更したことなどにより，学会発表など回数が計画よりも少なくなり，これにより次年度使用額が生じた．2024年度はこの残額分を活用して試作システムの構築，学会発表などを行う計画である．
|
