人物計測技術により没入感演出と注意推定、評価定量化とを図る博物館学習支援システム

2015 年度 実績報告書

• 研究課題/領域番号: 15H02936
• 研究機関: 東京理科大学
• 研究代表者: 溝口 博 東京理科大学, 理工学部, 教授 (00262113)
• 研究分担者: 稲垣 成哲 神戸大学, 人間発達環境学研究科, 教授 (70176387) ; 楠 房子 多摩美術大学, 美術学部, 教授 (40192025) ; 杉本 雅則 北海道大学, 情報科学研究科, 教授 (90280560)
• 研究期間 (年度): 2015-04-01 – 2018-03-31
• キーワード: 教授学習支援システム / 注意推定 / 関心推定 / 博物館

研究実績の概要

本研究の目的は、博物館の展示内容の世界や環境を仮想的に再現、その中に擬似的に「入り込める」システムを開発して博物館学習の効果的な支援を図ることと、参観中の学習者の観測により注意・関心の度合いを推定する技術を開発することとにある。自分の姿が大画面に映る「デジタル姿見」の背景映像を仮想的世界とし、いわば「等身大プリクラ」的機能を実現して文字通り仮想世界に「入り込める」ようにする。博物館の実際の展示物参観に先立ち、学習者はこのシステムを通じ、没入感をもって展示内容を予習する。

この目的を実現するため、平成27年度には各要素技術の研究開発を行って進展を得た。①研究打合せ会議： 遠隔会議と集合会議とを開催、役割分担と研究計画を確認した。②文献研究・データベース化、国内外研究資料収： 従来の文献研究に加え、最新の知見を探索、蓄積した。③コンテンツ設計と開発：　対象とする古生物環境は丹波竜が題材の白亜紀環境とした。人物計測情報を用いて動的に変化させ、古生物環境の中に没入感をもって「入り込める」よう構成した。　④人物計測技術開発： 民生用ゲーム機向けの安価なKINECTセンサを用い、学習者の位置、姿勢、動き、速さ等の情報を時々刻々得られるようにした。　⑤注意・関心推定技術開発： 上記KINECTセンサにより、実験中の距離・映像データを全て記録した。事後、これらのデータを解析して顔の向き算出や瞳の検出、視線の推定等を行えるようにした。　⑥教育プログラムの設計と開発： 対象として小学校高学児童を想定し、本学習支援システムを有効に活用する教育プログラムを設計・開発した。特に学習者の身体行為を伴う効果的な学習理解を目指した。　⑦予備実験：　次年度以降の実証実験の場面で、上記④人物計測技術と⑤事後評価定量化技術とが機能するよう、実証実験と同様の状況での学習者の動きの計測と注意・関心推定を行った。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

上記「研究実績の概要」で述べたように、平成27年度は以下の７項目について研究に取り組み、進展を得た。①研究打合せ会議、　②文献研究・データベース化、国内外研究資料収、 ③コンテンツ設計と開発、　④人物計測技術開発、　⑤注意・関心推定技術開発、　⑥教育プログラムの設計と開発、　⑦予備実験。

これらのうち、④についてはセンサ１台については安定して動作させることに成功した。しかも、実験室内に限定ではなく博物館や小学校の現場に持ち出して、⑦予備実験での使用に供することができた。センサ複数台の連携についても着手し、実験室レベルでの動作には成功している。実験室外での安定動作と現場での実験への供用可能化とが課題である。
③～⑦の成果について、既に国内学会ならびに国際学会で発表を行った。
以上が、「（２）おおむね順調に進展している」と判断した理由である。

今後の研究の推進方策

前年度の要素技術の成果を踏まえ、学習者一人のみを対象とする暫定版システムの開発と予備実験とを実施する。具体的に以下の項目について研究を推進する。
・暫定版システムの開発
・実証実験
・評価分析

研究成果

• [雑誌論文] Immersive Learning Support System of Kinect Sensor for Children to Learn Paleontological Environment (2015)
  • 著者名/発表者名: Tomohiro Nakayama, Ryuichi Yoshida, Takahiro Nakadai, Takeki Ogitsu, Hiroshi Mizoguchi, Kaori Izuishi, Fusako Kusunoki, Keita Muratsu, Ryohei Egusa, Shigenori Inagaki
  • 雑誌名: International Journal on Smart Sensing and Intelligent Systems (S2IS) 巻: Vol. 8 ページ: pp. 1050-1062
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] KIKIMIMI: Voice Separation System for Automating Post Evaluation of Learning Support System (2015)
  • 著者名/発表者名: Takahiro Nakadai, Tomoki Taguchi, Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • 雑誌名: Proceedings of the 7th International Conference on Computer Supported Education (CSEDU2015) 巻: Vol. 2 ページ: pp. 301-306
  • 査読あり / 謝辞記載あり
• [雑誌論文] BESIDE: Body Experience and Sense of Immersion in Digital paleontological Environment (2015)
  • 著者名/発表者名: Ryuichi Yoshida, Ryohei Egusa, Machi Saito, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • 雑誌名: International Conference on Human-Computer Interaction (CHI2015) Extended Abstracts 巻: USB ページ: pp. 1283-1288
  • DOI: 10.1145/2702613.2732824
  • 査読あり / 謝辞記載あり
• [雑誌論文] Novel Application of Microphone Array Sensor for Children’s Language Learning Support --Intelligent Interactive Design Using Voice Separation and Recognition System-- (2015)
  • 著者名/発表者名: Takahiro Nakadai, Motohiko Hano, Hiroshi Mizoguchi, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Masanori Sugimoto, Ryohei Egusa, Miki Namatame, Fusako Kusunoki
  • 雑誌名: Proceedings of the 9th International Conference on Sensing Technology (ICST2015) 巻: USB ページ: pp. 832-835
  • 査読あり / 謝辞記載あり
• [雑誌論文] BESIDE: Immersive System to Enhance Learning within a Museum (2015)
  • 著者名/発表者名: Ryuichi Yoshida, Haruya Tamaki, Tsugunosuke Sakai, Ryohei Egusa, Machi Saito, Shinichi Kamiyama, Miki Namatame, Masanori Sugimoto,Fusako Kusunoki,Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • 雑誌名: Proceedings of 21st International Conference on Collaboration Technologies, CRIWG2015 巻: LNCS 9334 ページ: pp. 181-189
  • DOI: 10.1007/978-3-319-22747-4_14
  • 査読あり / 謝辞記載あり
• [学会発表] Novel Application of Kinect Sensor to Support Immersive Learning within Museum for Children (2015)
  • 著者名/発表者名: Ryuichi Yoshida, Haruya Tamaki, Tsugunosuke Sakai, Takahiro Nakadai,Takeki Ogitsu, Hiroshi Takemura, Hiroshi Mizoguchi,Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Machi Saito, Fusako Kusunoki, Shinichi Kamiyama, Etsuji Yamaguchi,Shigenori Inagaki, Yoshiaki Takeda
  • 学会等名: The 2015 Ninth International Conference on Sensing Technology (ICST2015)
  • 発表場所: Auckland, New Zealand
  • 年月日: 2015-12-08 – 2015-12-10
  • 国際学会
• [学会発表] Novel Application of Microphone Array Sensor for Children's Language Learning Support -- Intelligent Interactive Design Using Voice Separation and Recognition System-- (2015)
  • 著者名/発表者名: Takahiro Nakadai, Motohiko Hano, Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki,Yoshiaki Takeda,Hiroshi Mizoguchi
  • 学会等名: The 2015 Ninth International Conference on Sensing Technology (ICST2015)
  • 発表場所: Auckland, New Zealand
  • 年月日: 2015-12-08 – 2015-12-10
  • 国際学会
• [学会発表] Experience-based Learning Support System to Enhance Child Learning in a Museum (2015)
  • 著者名/発表者名: Ryuichi Yoshida, Haruya Tamaki,Tsugunosuke Sakai,Machi Saito ,Ryohei Egusa, Shinichi Kamiyama ,Miki namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • 学会等名: 12th International Conference on Advances in Computer Entertainment TEchnology 2015 (ACE2015)
  • 発表場所: Iskandar, Malaysia
  • 年月日: 2015-11-16 – 2015-11-19
  • 国際学会
• [学会発表] BESIDE: Immersive System to Enhance Learning within a Museum (2015)
  • 著者名/発表者名: Ryuichi Yoshida, Haruya Tamaki, Tsugunosuke Sakai, Ryohei Egusa, Machi Saito, Shinichi Kamiyama, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, and Hiroshi Mizoguchi
  • 学会等名: 21st International Conference on Collaboration Technologies, CRIWG2015
  • 発表場所: American University of Armenia (AUA), Yerevan, Armenia
  • 年月日: 2015-09-22 – 2015-09-25
  • 国際学会
• [学会発表] KIKIMIMI: Voice Separation System for Automating Post Evaluation of Learning Support System (2015)
  • 著者名/発表者名: Takahiro Nakadai, Tomoki Taguchi, Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • 学会等名: The 7th International Conference on Computer Supported Education (CSEDU 2015)
  • 発表場所: Lisbon, Portugal
  • 年月日: 2015-05-23 – 2015-05-25
  • 国際学会
• [図書] Collaboration and Technology (2015)
  • 著者名/発表者名: Nelson Baloian, Yervant Zorian, Perouz Taslakian, Samvel Shoukouryan (Eds.)
  • 総ページ数: 249
  • 出版者: Springer