2021 Fiscal Year Research-status Report
A Study for the Practical Applications of Deviceless Learning Environment and the Framework for Learners Behavior Analysis
| Project/Area Number |
21K12163
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
水谷 晃三 帝京大学, 理工学部, 講師 (30521421)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 教育環境 / ユーザインタフェース / Learning Analytics / 学習者状態 / デバイスレス / プロジェクションマッピング |
|---|
| Outline of Annual Research Achievements |
本研究では，デバイスレスな教育学習環境（FLE：Followable Learning Environment）の実用化とこの環境上の分析基盤について，前研究課題で得られた知見に基づいた諸問題の解決方法について検討している．前研究課題は期間延長を行ったため，本研究課題は並行して実施した．本報告では本研究課題の範囲の実績について述べる．
本研究課題では，(1)GPGPU技術を活用した処理能力の向上によりリアルタイム性の維持を図ること，(2)オブジェクト認識へのDNNの適用を試みること，を目標としている．また，(3)学習者の行動記録とその分析基盤を実現する方法を検討することも目指している．このうち，(2)に関して，机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法，(3)に関して，学習者の行動をセンサによって捉え分類する方法をシステムの試作などを通じて検討した．
机上の教科書やノートなどの文房具類の配置を認識してこれらの空きスペースにUIを投影する方法は，FLEにおいいてUI（User Interface）を机上に投影するときに，机上の空きスペースを認識にしてそこに投影する仕組みである．こうすることで，教科書，資料，ノート，文房具類で埋まっている机上の空きスペースを有効活用できるようになり，ICTをより積極的に活用できるようになると考えられる．
学習者の行動を分類する方法は，FLEで使用しているセンサーにより学生の状態を識別し，その結果を教授者にフィードバックして指導に役立てたり，システムが自動的に個別の学習支援行うようにするための仕組みである．学生の状態を識別するためのモデルについて試作を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨今の半導体不足の影響により，GPGPUを活用したプログラムの実装や評価，深層学習によるモデル構築のための環境の整備に遅れが生じた．例えば，前述の机上の空きスペースにUIを投影する方法においては，机上の物体を認識する際にMask型の物体検出モデルを使用している．Box型の物体検出モデルに比べて複雑でありリアルタイム性が劣るため高性能なGPGPUが必要となる．また，モデル生成のための学習においても高性能なGPGPUが必要であることが実証を通じて明らかとなった．クラウドサービスを使用することも検討したが，割高であり，リアルタイム性能も求められるため通信遅延の大きい同サービスの導入は対象外とし，オンプレミスで実験システムを構築していくこととした．
2021年度前半はGPGPUが入手しにくく，高額である状態が続いたため，これらを使用した検証を先延ばしせざるを得ない状況となった．一方，学習者の行動を分類する方法については計画を前倒しして検討を進めることができた．FLEでは天井に下方へ向けて設置したセンサで学習者の状況を捉える．従来の方法に比べて学習者同士が重なることで生じるオクルージョンの発生を抑えているが，一方で学習者の状態を識別しにくい可能性があり検証を進めた．結果，学会発表などを行うほどには成果を得ているわけではないが，検討中の方法の妥当性をおおむね確認できている．
これらの状況から本研究の進捗を「やや遅れている」ととした．
|
| Strategy for Future Research Activity |
2021年度末頃にかけてGPGPUの供給状況が改善しつつあり，価格も予算範囲に近づいてきたため，整備が遅れていた研究環境について部品などの調達を進めている．早々にも研究環境を構築を進めていく計画である．
(1)に関しては，物体検出モデルの実装において先行して試みていた方法が複数あり，これらの方法では期待した性能を得ることができないことが分かっている．この知見に基づき，新たに異なる方法を検討して実装と評価を進める計画である．(2)に関しては，机上の空きスペースにUIを投影する方法について認識モデルの改善を進めると共に，空きスペースの形状に適応するUIの改善を進める計画である．現状，適応できる形状は単純なもののみであり，なおかつ実装したアプリケーションについても情報を表示するだけの単純なものあるため，実用的なアプリケーションとなるよう改良を進める．(3)については，先行して試作していた認識モデルでは学習者の状態を4パターンに分類するのみであったためこれを改良する．また，その際のセンサにはRGB-Dカメラを使用したが深度データの取り扱いについて改良の余地があり，この対応を進める．
また，以上の内容に加え，研究システムの実用性を高めるために有用と考えられるジェスチャ認識の仕組みと，認識したジェスチャを応用したアプリケーションについても併せて研究してく計画である．ユーザの細かな動作をジェスチャとして認識することで，より自然な形でシステムを利用できる環境が実現できると考えられる．
|
| Causes of Carryover |
昨今の半導体不足などに伴い研究システムの部品調達に遅れが生じた．特に2021年度前半は，GPGPU用の部品が高騰し入手も困難な状況であった．2021年度後半より改善してきており，年度明けにかけて引き続き部品の調達などを進めているため物品費についてはほぼ計画通りに遂行している．
また，新型コロナウィルス感染症の感染拡大などの影響から学会等への活動を一部控えており，またオンライン開催になったケースもあり，これに伴い旅費等の経費が大幅に余剰となった．2022年度は国際会議等への参加も計画しているため，次年度使用額はこれらの参加費用や旅費として充当する計画である．
|
Research Products
(4 results)
