2022 Fiscal Year Annual Research Report
実習科目向けXR型電子教材の開発基盤システムとデータ駆動型教育手法の研究開発
| Project/Area Number |
22H03705
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
岡田 義広 九州大学, 附属図書館, 教授 (70250488)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
築山 能大 九州大学, 歯学研究院, 教授 (10236870)
藤淵 俊王 九州大学, 医学研究院, 教授 (20375843)
金子 晃介 九州大学, ロバート・ファン/アントレプレナーシップ・センター, 准教授 (30735121)
石 偉 九州大学, 情報基盤研究開発センター, 助教 (30812680)
芳賀 瑛 東京大学, 大学総合教育研究センター, 特任助教 (50738672)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | eXtended Reality / Virtual Reality / Augumented Reality / Mixed Reality / 教材開発 / 基盤システム |
|---|
| Outline of Annual Research Achievements |
各研究項目について以下の通りの実績である。
1.1) デバイス対応機能の開発：研究代表者らが開発したウェブVR対応インテリジェントボックス(WebIBVR)をVRゴーグルに対応させ、問題点抽出とその解決策を検討した。また、WebIBVRの入力を手指動作入力デバイス(Leap Motion Controller)へ対応させた。さらに、WebIBVRで開発された歯科治療演習教材へ音声出力機能等を追加し操作性を高めた。1.2)プログラミングなしで教材開発を可能とする機能について継続実施。1.3) 学習データAI分析機能の開発：放射線治療セットアップ演習教材に学習ログデータを保存する機能を実装した。また、VR協調操作環境の研究を開始し、360度VRカメラ動画からOpenPoseによる動作データの抽出機能を実装した。さらに、弱視者歩行補助システムの開発において360度VRカメラ動画から障害物を検出する機能の実装を行った。1.4) 協調操作機能の開発：WebIBVRで開発されている歯科治療演習教材について、Phatomデバイスのハプティック入力とVRゴーグルのステレオ視表示環境での協調操作実験を行い、問題点抽出とその解決策を検討した。1.5) XR型電子教材の開発実践：360度VRカメラの静止画・動画から容易にVR演習教材を開発するフレームワークを開発した。2.1)については来年度以降の実施計画である。2.2) 実習支援機能の開発：1.3)の機能により助言を与える助言機能と実習課程における疑問に答える問い合わせ対応機能の一部を放射線治療セットアップ演習教材へ導入した。2.3) XR型電子教材の教育手法の開発：3次元CGによるIoTセキュリティ教材(シリアスゲーム)を開発しユーザ評価した。2.4) XR型電子教材の評価手法の開発：基盤と教材開発に注力したため、来年度以降の継続実施。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
WebIBVRの入力を手指動作入力デバイス(Leap Motion Controller)へ対応させた点について、国際会議に採択され論文発表する予定である。WebIBVRで開発された歯科治療演習教材へ音声出力機能等を追加し操作性を高めた点いついて国際会議論文を発表している。放射線治療セットアップ演習教材をVRゴーグルに対応させ、学習ログデータを保存する機能等を追加した点について国際会議論文を発表している。360度VRカメラ動画からOpenPoseによる動作データを抽出するVR協調操作環境の研究についても国際会議論文を発表している。360度VRカメラ動画から障害物を検出する機能をもつ弱視者歩行補助システムの開発についても2件の国際会議論文を発表した。360度VRカメラの静止画・動画からVR演習教材を開発するフレームワークを開発した点も2件の国際会議論文として発表した。
|
| Strategy for Future Research Activity |
1.1) デバイス対応機能の開発を継続:ウェブVR対応インテリジェントボックス(WebIBVR)のデバイス対応機能の追加と手指動作入力機能の応用例を開発、音声入力機能の追加とVRゴーグルへ対応させる、1.2) プログラミングをせずに教材開発を可能とする機能の検討と開発、1.3) 学習データAI分析(AiLA)機能の開発：動作認識機能と物体認識機能からなる行動認識システムの開発、1.4) 協調操作機能の開発：インテリジェントボックスの協調操作専用ソフトウェア部品を種々のXR用デバイスに対応させる。1.5) XR型電子教材の開発実践を継続する。
2.1) 授業実践と教材評価：上記で開発するXR型電子教材について、1.3)のAiLA機能により保存された実習行動データを分析する。2.2) 実習支援機能の開発を継続：1.3)の機能により助言を与える助言機能と実習過程における疑問に答える問い合わせ対応機能を新規教材について開発する。2.3) XR型電子教材の教育手法の開発を継続：1.5)で開発する教材にゲーム性を導入した教材(シリアスゲーム)を開発し授業実践しその有用性を評価する。また、修了バッジやポイント取得および実習終了時間等を他の学生と競い合う競争原理を導入した学習環境を開発し授業実践しその有用性を評価する。2.4) XR型電子教材の評価手法の開発を継続：ARCSモデルは学習意欲モデルで、教材を開発する際に学習者の動機づけを高める方法をモデル化したものである。また、RETAINモデルは評価モデルで、学習用ゲーム等の評価に使われるモデルである。これらのモデルを参考にXR型電子教材向け評価モデルを研究開発する。
|
