• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

実習科目向けXR型電子教材の開発基盤システムとデータ駆動型教育手法の研究開発

研究課題

研究課題/領域番号 23K24960
補助金の研究課題番号 22H03705 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分62030:学習支援システム関連
研究機関九州大学

研究代表者

岡田 義広  九州大学, データ駆動イノベーション推進本部, 教授 (70250488)

研究分担者 築山 能大  九州大学, 歯学研究院, 教授 (10236870)
藤淵 俊王  九州大学, 医学研究院, 教授 (20375843)
金子 晃介  九州大学, ロバート・ファン/アントレプレナーシップ・センター, 准教授 (30735121)
石 偉  九州大学, 情報基盤研究開発センター, 助教 (30812680)
芳賀 瑛  東京大学, 大学総合教育研究センター, 特任助教 (50738672)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,420千円 (直接経費: 13,400千円、間接経費: 4,020千円)
2024年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2023年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2022年度: 7,020千円 (直接経費: 5,400千円、間接経費: 1,620千円)
キーワードXR型電子教材 / 教材開発基盤システム / データ駆動型教育手法 / eXtended Reality / Virtual Reality / Augmented Reality / Mixed Reality / 教材開発 / 基盤システム / Augumented Reality / データ駆動 / 教育手法
研究開始時の研究の概要

本研究は、種々のXR用デバイスに対応し様々な状況で実習を可能とする他、ヘッドマウントディスプレイ表示の組み合わせで自宅でも実習が行えるXR型電子教材の開発を可能とする開発基盤システムを研究開発し、XR型電子教材の開発と教育実践を通して、開発基盤システムの有用性を明らかにする。また、XR型電子教材を用いた場合に、学習者の学習意欲を高め、学習効果の高い授業を行うための学習データに基づいた教育手法(データ駆動型教育手法)を研究開発する。学習者の自学実習、教員と学習者の協調実習をそれぞれ可能とするほか、実習時行動データのAI分析により、実習効率の向上を図る支援機能と教育手法を研究開発する。

研究実績の概要

1.1) デバイス対応機能の開発:ウェブVR対応インテリジェントボックス(WebIBVR)に手指動作入力機能をカーネル機能として実装した。頭の向きを推定する機能とディスクトップ共有を組み合わせVRゴーグルへ対応させた。1.2) プログラミングをせずに教材開発を可能とする機能:上記手指動作入力機能とVRゴーグル対応と併せてWebIBVRカーネルプログラムの修正により一部の機能を実装した。1.3) 学習データAI分析(AiLA)機能の開発:動作認識機能と物体認識機能からなる行動認識システムの仕様を歯科治療トレーニングシステムと放射線治療装置セットアップ教材を対象に検討した。1.4) 協調操作機能の開発:手指動作入力とVRゴーグル画面共有により、協調操作可能であることを確認した。1.5) XR型電子教材の開発実践:すでに開発を行っている歯科治療トレーニングシステムを、上記開発基盤システムを利用してXR型へ対応させた。放射線治療に関して放射線のウェブ可視化ツールを開発した。360度VR画像・点群・3Dモデルデータを用いたウェブVR教材の開発フレームワークを提案し、多くのコンテンツを開発した。2.1) 授業実践と教材評価:AiLA機能により保存された実習行動データを分析するための可視化ツールを開発した。2.2) 実習支援機能の開発:AiLA機能により助言を与える助言機能と実習過程における疑問に答える問い合わせ対応機能(AIチャットボット)のために学習データベースを整備した。2.3) XR型電子教材の教育手法の開発:1.5)で開発する教材にゲーム性の導入や、修了バッジやポイント取得および実習終了時間等を他の学生と競い合う競争原理の導入により学習意欲を高める方策を検討した。2.4) XR型電子教材の評価手法の開発:VR型電子教材をVRゴーグルに対応させユーザ評価等を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ウェブVR対応インテリジェントボックス(WebIBVR)の手指動作入力機能をWebIBVRカーネルに追加した点について、国際会議論文1件を発表した。これは学会からジャーナル論文として推薦され、内容を拡張した論文を提出し既に採録が決定している。頭の向きを推定する機能とディスクトップ共有を組み合わせVRゴーグルへ対応させた内容の論文は2024年7月開催の国際会議に採択されている。XR型電子教材の開発実践として、360度VR画像・点群・3Dモデルデータを用いたウェブVR教材の開発フレームワークについて、合計5件の国際会議論文と1件の国内会議論文を発表している。放射線のウェブ可視化ツールについても、2024年7月開催の国際会議に採択されている。実習行動データ等を分析するための可視化ツールについては、2件の国際会議論文を発表している。以上のように、今年度国際会議論文8件と国内会議論文1件があり、次年度既に国際会議論文2件とジャーナル論文1件の採択・採録が決定しており、「おおむね順調に進展している。」と思われる。

今後の研究の推進方策

1.1) デバイス対応機能の開発:ウェブVR対応インテリジェントボックス(WebIBVR)のデバイス対応機能の追加と応用例開発を継続、手指動作入力デバイス機能の拡張と応用例開発、音声入出力機能の拡張と応用例開発を行う。1.2) プログラミングをせずに教材開発を可能とする機能の開発:XR環境での応用例開発と評価を行う。1.3) 学習データAI分析機能の開発:動作認識機能と物体認識機能からなる行動認識システムの開発を継続、物体認識機能の開発に注力する。1.4) 協調操作機能の開発:協調操作可能なXR型電子教材を開発する。1.5) XR型電子教材の開発実践:既存の電子教材について、上記開発基盤システムを利用してXR型へ対応させる。
2.1) 授業実践と教材評価:開発され授業実践されたXR型電子教材について、1.3)の機能により保存された実習行動データを分析し、問題点の抽出と解決を図る。使用感等について、学生アンケート調査を実施し、問題点の抽出と解決を図る。2.2) 実習支援機能の開発:1.3)の機能により助言機能と問い合わせ対応機能を新規教材について開発・追加する。2.3) XR型電子教材の教育手法の開発:開発する教材にゲーム性を導入し授業実践して有用性を評価する。修了バッジやポイント取得および実習終了時間等を他の学生と競い合う競争原理を導入し授業実践してその有用性を評価する。2.4) XR型電子教材の評価手法の開発:ARCSモデルやRETAINモデルを参考にXR型電子教材向け評価モデルを研究開発する。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (32件)

すべて 2024 2023 2022

すべて 雑誌論文 (15件) (うち国際共著 4件、 査読あり 15件) 学会発表 (17件) (うち国際学会 16件、 招待講演 1件)

  • [雑誌論文] OpenVSLAM-Based Development Framework for Web-Based VR Tours Using 360VR Videos and Its Extensions2024

    • 著者名/発表者名
      Yoshihiro Okada, Wei Shi, Kosuke Kaneko
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies, Springer, Cham.

      巻: 193 ページ: 31-42

    • DOI

      10.1007/978-3-031-53555-0_4

    • ISBN
      9783031535543, 9783031535550
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Co-browsing Cubic Gantt Charts with VR Goggles for Collaborative Immersive Visual Data Analytics2023

    • 著者名/発表者名
      Shohei Nakamura, Yoshihiro Okada
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies, Springer, Cham

      巻: 176 ページ: 384-394

    • DOI

      10.1007/978-3-031-35734-3_39

    • ISBN
      9783031357336, 9783031357343
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Hand Gesture Input Interface as Native Function of IntelligentBox Using Leap Motion Controller2023

    • 著者名/発表者名
      Takumi Takeshita, Yoshihiro Okad
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies, Springer, Cham

      巻: 176 ページ: 395-406

    • DOI

      10.1007/978-3-031-35734-3_40

    • ISBN
      9783031357336, 9783031357343
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 3DSPOPP - 3D Scatter Plots of Octants with Projection Planes2023

    • 著者名/発表者名
      Shohei Nakamura, Yoshihiro Okada
    • 雑誌名

      2023 27th International Conference Information Visualisation (IV)

      巻: - ページ: 48-54

    • DOI

      10.1109/iv60283.2023.00019

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Development Framework for Web-Based VR Tours and Its Examples2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 雑誌名

      2023 27th International Conference Information Visualisation (IV)

      巻: - ページ: 420-425

    • DOI

      10.1109/iv60283.2023.00076

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] DEVELOPMENT FRAMEWORK BASED ON OPENVSLAM FOR WEB-BASED VR TOURS USING 360VR VIDEOS2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 雑誌名

      IADIS Proc. of the International Conference on WWW/Internet

      巻: - ページ: 109-116

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Web Viewer for Educational VR Contents of 3D Scene Models Supporting VR Goggle2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies, Springer, Cham.

      巻: 186 ページ: 69-80

    • DOI

      10.1007/978-3-031-46784-4_7

    • ISBN
      9783031467837, 9783031467844
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Web-based VR Education Contents Supporting VR-goggles and User Study2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 雑誌名

      Proceedings II of The 31st International Conference on Computers in Education (ICCE 2023)

      巻: - ページ: 774-779

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Web-Based Collaborative VR System Supporting VR Goggles for Radiation Therapy Setup Training2023

    • 著者名/発表者名
      Miyahara, Y., Kaneko, K., Fujibuchi, T., Okada, Y.
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies

      巻: 161 ページ: 386-400

    • DOI

      10.1007/978-3-031-26281-4_41

    • ISBN
      9783031262807, 9783031262814
    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Development Framework Using 360VR Cameras and Lidar Scanners for Web-Based XR Educational Materials Supporting VR Goggles2023

    • 著者名/発表者名
      Okada, Y., Kaneko, K., Shi, W.
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies

      巻: 161 ページ: 401-412

    • DOI

      10.1007/978-3-031-26281-4_42

    • ISBN
      9783031262807, 9783031262814
    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] A Pedestrian Avoidance System for Visual Impaired People Based on Object Tracking Algorithm2023

    • 著者名/発表者名
      Shan, R., Shi, W., Teng, Z., Okada, Y.
    • 雑誌名

      Lecture Notes on Data Engineering and Communications Technologies

      巻: 161 ページ: 375-385

    • DOI

      10.1007/978-3-031-26281-4_40

    • ISBN
      9783031262807, 9783031262814
    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Web viewers for educational VR contents2023

    • 著者名/発表者名
      Okada, Y. and Oki, K.
    • 雑誌名

      IADIS International Conferences e-Society and Mobile Learning 2023 Proceedings

      巻: - ページ: 359-366

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] A Navigation System for Visual Impaired People Based on Object Detection2022

    • 著者名/発表者名
      Shi, W., Shan, R., & Okada, Y.
    • 雑誌名

      Proceedings - 2022 12th International Congress on Advanced Applied Informatics, IIAI-AAI 2022

      巻: - ページ: 354-358

    • DOI

      10.1109/iiaiaai55812.2022.00078

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Dental Treatment Training System Using Haptic Device and Its User Evaluations2022

    • 著者名/発表者名
      Nomi, M., & Okada, Y.
    • 雑誌名

      Proceedings of the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022

      巻: - ページ: 569-580

    • DOI

      10.1007/978-3-031-08812-4_55

    • ISBN
      9783031088117, 9783031088124
    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Design and Implementation of an Immersive Network Collaborative Environment Using OpenPose with 360VR Camera and WebXR2022

    • 著者名/発表者名
      Xu, J., Shi, W., & Okada, Y.
    • 雑誌名

      Proceedings of the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022

      巻: - ページ: 557-568

    • DOI

      10.1007/978-3-031-08812-4_54

    • ISBN
      9783031088117, 9783031088124
    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [学会発表] OpenVSLAM-Based Development Framework for Web-Based VR Tours Using 360VR Videos and Its Extensions2024

    • 著者名/発表者名
      Yoshihiro Okada, Wei Shi, Kosuke Kaneko
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Co-browsing Cubic Gantt Charts with VR Goggles for Collaborative Immersive Visual Data Analytics2023

    • 著者名/発表者名
      Shohei Nakamura, Yoshihiro Okada
    • 学会等名
      Complex, Intelligent and Software Intensive Systems. CISIS 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Hand Gesture Input Interface as Native Function of IntelligentBox Using Leap Motion Controller2023

    • 著者名/発表者名
      Takumi Takeshita, Yoshihiro Okada
    • 学会等名
      Complex, Intelligent and Software Intensive Systems. CISIS 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 3DSPOPP - 3D Scatter Plots of Octants with Projection Planes2023

    • 著者名/発表者名
      Shohei Nakamura, Yoshihiro Okada
    • 学会等名
      27th International Conference Information Visualisation (IV 2024)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Development Framework for Web-based VR Tours and Its Examples2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 学会等名
      27th International Conference Information Visualisation (IV 2024)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] DEVELOPMENT FRAMEWORK BASED ON OPENVSLAM FOR WEB-BASED VR TOURS USING 360VR VIDEOS2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 学会等名
      International Conference on WWW/Internet
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Web Viewer for Educational VR Contents of 3D Scene Models Supporting VR Goggles2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 学会等名
      Advances on Broad-Band and Wireless Computing, Communication and Applications. BWCCA 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Web-based VR Education Contents Supporting VR-goggles and User Study2023

    • 著者名/発表者名
      Yoshihiro Okada, Kosuke Kaneko, Wei Shi
    • 学会等名
      The 31st International Conference on Computers in Education (ICCE 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 360度VR動画によるVRツアーコンテンツのOpenVSLAMを用いた開発フレームワークと公開サービス2023

    • 著者名/発表者名
      岡田義広, 永山寛二, 木佐貫浩司
    • 学会等名
      大学ICT推進協議会2023年度年次大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Web-Based Collaborative VR System Supporting VR Goggles for Radiation Therapy Setup Training2023

    • 著者名/発表者名
      Miyahara, Y., Kaneko, K., Fujibuchi, T., Okada, Y.
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 202
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Development Framework Using 360VR Cameras and Lidar Scanners for Web-Based XR Educational Materials Supporting VR Goggles. In: Barolli, L. (eds) Advances in Internet, Data & Web Technologies. EIDWT 2023. Lecture Notes on Data Engineering and Communications Technologies2023

    • 著者名/発表者名
      Okada, Y., Kaneko, K., Shi, W.
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 202
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] A Pedestrian Avoidance System for Visual Impaired People Based on Object Tracking Algorithm2023

    • 著者名/発表者名
      Shan, R., Shi, W., Teng, Z., Okada, Y.
    • 学会等名
      Advances in Internet, Data & Web Technologies. EIDWT 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Web viewers for educational VR contents2023

    • 著者名/発表者名
      Okada, Y. and Oki, K.
    • 学会等名
      IADIS International Conferences e-Society and Mobile Learning 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Educational DX - Activities of e-learning material development by ICER2023

    • 著者名/発表者名
      Yoshihiro Okada
    • 学会等名
      12th International Conference on Software Technology and Engineering
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] A Navigation System for Visual Impaired People Based on Object Detection2022

    • 著者名/発表者名
      Shi, W., Shan, R., & Okada, Y.
    • 学会等名
      12th International Congress on Advanced Applied Informatics, IIAI-AAI 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Dental Treatment Training System Using Haptic Device and Its User Evaluations2022

    • 著者名/発表者名
      Nomi, M., & Okada, Y.
    • 学会等名
      the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Design and Implementation of an Immersive Network Collaborative Environment Using OpenPose with 360VR Camera and WebXR2022

    • 著者名/発表者名
      Xu, J., Shi, W., & Okada, Y.
    • 学会等名
      the 16th International Conference on Complex, Intelligent and Software Intensive Systems CISIS-2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi