2021 Fiscal Year Annual Research Report

A Study for Deviceless Learning Environment Applying Projection Mapping

Research Project

Project/Area Number	18K11580
Research Institution	Teikyo University
Principal Investigator	水谷晃三帝京大学, 理工学部, 講師 (30521421)
Project Period (FY)	2018-04-01 – 2022-03-31
Keywords	教育環境 / ユーザインタフェース / プロジェクションマッピング / デバイスレス
Outline of Annual Research Achievements	2021年度の研究活動では，課題研究で実現を目指すシステムについて，内部的な改良を中心とした方策と技術的な課題を解決するための方策を，関連研究を通じて検証する活動を行った．なお，2021年度より本研究に関連する新たな研究課題についても作業を進めており，本報告では主に本研究課題の範囲の実績について述べる．本研究課題では，複数のセンサの配置と認識方法についての検討と，そのための並列分散処理の方法を検討し，評価することを一つの目標としていた．複数のセンサを使用する機構についての原理的な方法については，2020年度の活動で検討し実証システムを開発していた．この中で，全体的な処理性能とりわけリアルタイム性については課題となっていた．その解決方法としてGPGPUによる並列処理の実装が検討された． GPGPUによる並列処理の実装について検討するにあたり，手指のジェスチャの認識や机の配置状況など物体を認識する方法としてGPGPUと深層学習を導入して精度向上を図る方法を併せて検討した．手指のジェスチャを深層学習により認識する方法では，実績の多い画像を対象にした物体認識のためのCNN（Convolutional Neural Network）を用いることを検討した．センサデータをリアルタイムに画像化し，CNNで手指の状況を分類し，分類結果をシステムの操作に適用する方法を試みた．この研究を通じて得た知見により，机の配置状況，机上でのユーザ操作などの認識を実現できるようになると考えられる．また，机上の教科書やノートなどの文房具類の配置を認識して，これらの空きスペースにUIを投影する方法についても検討し，システムの試作を通じて実用化に向けた課題を明らかにした．