• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

実習科目向けXR型電子教材の開発基盤システムとデータ駆動型教育手法の研究開発

研究課題

研究課題/領域番号 22H03705
配分区分補助金
研究機関九州大学

研究代表者

岡田 義広  九州大学, 附属図書館, 教授 (70250488)

研究分担者 築山 能大  九州大学, 歯学研究院, 教授 (10236870)
藤淵 俊王  九州大学, 医学研究院, 教授 (20375843)
金子 晃介  九州大学, ロバート・ファン/アントレプレナーシップ・センター, 准教授 (30735121)
石 偉  九州大学, 情報基盤研究開発センター, 助教 (30812680)
芳賀 瑛  東京大学, 大学総合教育研究センター, 特任助教 (50738672)
研究期間 (年度) 2022-04-01 – 2025-03-31
キーワードeXtended Reality / Virtual Reality / Augumented Reality / Mixed Reality / 教材開発 / 基盤システム
研究実績の概要

各研究項目について以下の通りの実績である。
1.1) デバイス対応機能の開発:研究代表者らが開発したウェブVR対応インテリジェントボックス(WebIBVR)をVRゴーグルに対応させ、問題点抽出とその解決策を検討した。また、WebIBVRの入力を手指動作入力デバイス(Leap Motion Controller)へ対応させた。さらに、WebIBVRで開発された歯科治療演習教材へ音声出力機能等を追加し操作性を高めた。1.2)プログラミングなしで教材開発を可能とする機能について継続実施。1.3) 学習データAI分析機能の開発:放射線治療セットアップ演習教材に学習ログデータを保存する機能を実装した。また、VR協調操作環境の研究を開始し、360度VRカメラ動画からOpenPoseによる動作データの抽出機能を実装した。さらに、弱視者歩行補助システムの開発において360度VRカメラ動画から障害物を検出する機能の実装を行った。1.4) 協調操作機能の開発:WebIBVRで開発されている歯科治療演習教材について、Phatomデバイスのハプティック入力とVRゴーグルのステレオ視表示環境での協調操作実験を行い、問題点抽出とその解決策を検討した。1.5) XR型電子教材の開発実践:360度VRカメラの静止画・動画から容易にVR演習教材を開発するフレームワークを開発した。2.1)については来年度以降の実施計画である。2.2) 実習支援機能の開発:1.3)の機能により助言を与える助言機能と実習課程における疑問に答える問い合わせ対応機能の一部を放射線治療セットアップ演習教材へ導入した。2.3) XR型電子教材の教育手法の開発:3次元CGによるIoTセキュリティ教材(シリアスゲーム)を開発しユーザ評価した。2.4) XR型電子教材の評価手法の開発:基盤と教材開発に注力したため、来年度以降の継続実施。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

WebIBVRの入力を手指動作入力デバイス(Leap Motion Controller)へ対応させた点について、国際会議に採択され論文発表する予定である。WebIBVRで開発された歯科治療演習教材へ音声出力機能等を追加し操作性を高めた点いついて国際会議論文を発表している。放射線治療セットアップ演習教材をVRゴーグルに対応させ、学習ログデータを保存する機能等を追加した点について国際会議論文を発表している。360度VRカメラ動画からOpenPoseによる動作データを抽出するVR協調操作環境の研究についても国際会議論文を発表している。360度VRカメラ動画から障害物を検出する機能をもつ弱視者歩行補助システムの開発についても2件の国際会議論文を発表した。360度VRカメラの静止画・動画からVR演習教材を開発するフレームワークを開発した点も2件の国際会議論文として発表した。

今後の研究の推進方策

1.1) デバイス対応機能の開発を継続:ウェブVR対応インテリジェントボックス(WebIBVR)のデバイス対応機能の追加と手指動作入力機能の応用例を開発、音声入力機能の追加とVRゴーグルへ対応させる、1.2) プログラミングをせずに教材開発を可能とする機能の検討と開発、1.3) 学習データAI分析(AiLA)機能の開発:動作認識機能と物体認識機能からなる行動認識システムの開発、1.4) 協調操作機能の開発:インテリジェントボックスの協調操作専用ソフトウェア部品を種々のXR用デバイスに対応させる。1.5) XR型電子教材の開発実践を継続する。
2.1) 授業実践と教材評価:上記で開発するXR型電子教材について、1.3)のAiLA機能により保存された実習行動データを分析する。2.2) 実習支援機能の開発を継続:1.3)の機能により助言を与える助言機能と実習過程における疑問に答える問い合わせ対応機能を新規教材について開発する。2.3) XR型電子教材の教育手法の開発を継続:1.5)で開発する教材にゲーム性を導入した教材(シリアスゲーム)を開発し授業実践しその有用性を評価する。また、修了バッジやポイント取得および実習終了時間等を他の学生と競い合う競争原理を導入した学習環境を開発し授業実践しその有用性を評価する。2.4) XR型電子教材の評価手法の開発を継続:ARCSモデルは学習意欲モデルで、教材を開発する際に学習者の動機づけを高める方法をモデル化したものである。また、RETAINモデルは評価モデルで、学習用ゲーム等の評価に使われるモデルである。これらのモデルを参考にXR型電子教材向け評価モデルを研究開発する。

  • 研究成果

    (15件)

すべて 2023 2022

すべて 雑誌論文 (7件) (うち国際共著 4件、 査読あり 7件) 学会発表 (8件) (うち国際学会 8件、 招待講演 1件)

  • [雑誌論文] Web-Based Collaborative VR System Supporting VR Goggles for Radiation Therapy Setup Training2023

    • 著者名/発表者名
      Miyahara, Y., Kaneko, K., Fujibuchi, T., Okada, Y.
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies

      巻: 161 ページ: 386-400

    • DOI

      10.1007/978-3-031-26281-4_41

    • 査読あり
  • [雑誌論文] Development Framework Using 360VR Cameras and Lidar Scanners for Web-Based XR Educational Materials Supporting VR Goggles2023

    • 著者名/発表者名
      Okada, Y., Kaneko, K., Shi, W.
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies

      巻: 161 ページ: 401-412

    • DOI

      10.1007/978-3-031-26281-4_42

    • 査読あり / 国際共著
  • [雑誌論文] A Pedestrian Avoidance System for Visual Impaired People Based on Object Tracking Algorithm2023

    • 著者名/発表者名
      Shan, R., Shi, W., Teng, Z., Okada, Y.
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies

      巻: 161 ページ: 375-385

    • DOI

      10.1007/978-3-031-26281-4_40

    • 査読あり / 国際共著
  • [雑誌論文] Web viewers for educational VR contents2023

    • 著者名/発表者名
      Okada, Y. and Oki, K.
    • 雑誌名

      IADIS International Conferences e-Society and Mobile Learning 2023 Proceedings

      巻: - ページ: 359-366

    • 査読あり
  • [雑誌論文] A Navigation System for Visual Impaired People Based on Object Detection2022

    • 著者名/発表者名
      Shi, W., Shan, R., & Okada, Y.
    • 雑誌名

      Proceedings - 2022 12th International Congress on Advanced Applied Informatics, IIAI-AAI 2022

      巻: - ページ: 354-358

    • DOI

      10.1109/IIAIAAI55812.2022.00078

    • 査読あり / 国際共著
  • [雑誌論文] Dental Treatment Training System Using Haptic Device and Its User Evaluations2022

    • 著者名/発表者名
      Nomi, M., & Okada, Y.
    • 雑誌名

      Proceedings of the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022

      巻: - ページ: 569-580

    • DOI

      10.1007/978-3-031-08812-4_55

    • 査読あり
  • [雑誌論文] Design and Implementation of an Immersive Network Collaborative Environment Using OpenPose with 360VR Camera and WebXR2022

    • 著者名/発表者名
      Xu, J., Shi, W., & Okada, Y.
    • 雑誌名

      Proceedings of the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022

      巻: - ページ: 557-568

    • DOI

      10.1007/978-3-031-08812-4_54

    • 査読あり / 国際共著
  • [学会発表] Web-Based Collaborative VR System Supporting VR Goggles for Radiation Therapy Setup Training2023

    • 著者名/発表者名
      Miyahara, Y., Kaneko, K., Fujibuchi, T., Okada, Y.
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 202
    • 国際学会
  • [学会発表] Development Framework Using 360VR Cameras and Lidar Scanners for Web-Based XR Educational Materials Supporting VR Goggles. In: Barolli, L. (eds) Advances in Internet, Data & Web Technologies. EIDWT 2023. Lecture Notes on Data Engineering and Communications Technologies2023

    • 著者名/発表者名
      Okada, Y., Kaneko, K., Shi, W.
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 202
    • 国際学会
  • [学会発表] A Pedestrian Avoidance System for Visual Impaired People Based on Object Tracking Algorithm2023

    • 著者名/発表者名
      Shan, R., Shi, W., Teng, Z., Okada, Y.
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 2023
    • 国際学会
  • [学会発表] Web viewers for educational VR contents2023

    • 著者名/発表者名
      Okada, Y. and Oki, K.
    • 学会等名
      IADIS International Conferences e-Society and Mobile Learning 2023
    • 国際学会
  • [学会発表] Educational DX - Activities of e-learning material development by ICER2023

    • 著者名/発表者名
      Yoshihiro Okada
    • 学会等名
      12th International Conference on Software Technology and Engineering
    • 国際学会 / 招待講演
  • [学会発表] A Navigation System for Visual Impaired People Based on Object Detection2022

    • 著者名/発表者名
      Shi, W., Shan, R., & Okada, Y.
    • 学会等名
      12th International Congress on Advanced Applied Informatics, IIAI-AAI 2022
    • 国際学会
  • [学会発表] Dental Treatment Training System Using Haptic Device and Its User Evaluations2022

    • 著者名/発表者名
      Nomi, M., & Okada, Y.
    • 学会等名
      the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022
    • 国際学会
  • [学会発表] Design and Implementation of an Immersive Network Collaborative Environment Using OpenPose with 360VR Camera and WebXR2022

    • 著者名/発表者名
      Xu, J., Shi, W., & Okada, Y.
    • 学会等名
      the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022
    • 国際学会

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi