人物計測技術により没入感演出と注意推定、評価定量化とを図る博物館学習支援システム

2015 Fiscal Year Annual Research Report

• Project/Area Number: 15H02936
• Research Institution: Tokyo University of Science
• Principal Investigator: 溝口 博 東京理科大学, 理工学部, 教授 (00262113)
• Co-Investigator(Kenkyū-buntansha): 稲垣 成哲 神戸大学, 人間発達環境学研究科, 教授 (70176387) ; 楠 房子 多摩美術大学, 美術学部, 教授 (40192025) ; 杉本 雅則 北海道大学, 情報科学研究科, 教授 (90280560)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Keywords: 教授学習支援システム / 注意推定 / 関心推定 / 博物館

Outline of Annual Research Achievements

本研究の目的は、博物館の展示内容の世界や環境を仮想的に再現、その中に擬似的に「入り込める」システムを開発して博物館学習の効果的な支援を図ることと、参観中の学習者の観測により注意・関心の度合いを推定する技術を開発することとにある。自分の姿が大画面に映る「デジタル姿見」の背景映像を仮想的世界とし、いわば「等身大プリクラ」的機能を実現して文字通り仮想世界に「入り込める」ようにする。博物館の実際の展示物参観に先立ち、学習者はこのシステムを通じ、没入感をもって展示内容を予習する。

この目的を実現するため、平成27年度には各要素技術の研究開発を行って進展を得た。①研究打合せ会議： 遠隔会議と集合会議とを開催、役割分担と研究計画を確認した。②文献研究・データベース化、国内外研究資料収： 従来の文献研究に加え、最新の知見を探索、蓄積した。③コンテンツ設計と開発：　対象とする古生物環境は丹波竜が題材の白亜紀環境とした。人物計測情報を用いて動的に変化させ、古生物環境の中に没入感をもって「入り込める」よう構成した。　④人物計測技術開発： 民生用ゲーム機向けの安価なKINECTセンサを用い、学習者の位置、姿勢、動き、速さ等の情報を時々刻々得られるようにした。　⑤注意・関心推定技術開発： 上記KINECTセンサにより、実験中の距離・映像データを全て記録した。事後、これらのデータを解析して顔の向き算出や瞳の検出、視線の推定等を行えるようにした。　⑥教育プログラムの設計と開発： 対象として小学校高学児童を想定し、本学習支援システムを有効に活用する教育プログラムを設計・開発した。特に学習者の身体行為を伴う効果的な学習理解を目指した。　⑦予備実験：　次年度以降の実証実験の場面で、上記④人物計測技術と⑤事後評価定量化技術とが機能するよう、実証実験と同様の状況での学習者の動きの計測と注意・関心推定を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

上記「研究実績の概要」で述べたように、平成27年度は以下の７項目について研究に取り組み、進展を得た。①研究打合せ会議、　②文献研究・データベース化、国内外研究資料収、 ③コンテンツ設計と開発、　④人物計測技術開発、　⑤注意・関心推定技術開発、　⑥教育プログラムの設計と開発、　⑦予備実験。

これらのうち、④についてはセンサ１台については安定して動作させることに成功した。しかも、実験室内に限定ではなく博物館や小学校の現場に持ち出して、⑦予備実験での使用に供することができた。センサ複数台の連携についても着手し、実験室レベルでの動作には成功している。実験室外での安定動作と現場での実験への供用可能化とが課題である。
③～⑦の成果について、既に国内学会ならびに国際学会で発表を行った。
以上が、「（２）おおむね順調に進展している」と判断した理由である。

Strategy for Future Research Activity

前年度の要素技術の成果を踏まえ、学習者一人のみを対象とする暫定版システムの開発と予備実験とを実施する。具体的に以下の項目について研究を推進する。
・暫定版システムの開発
・実証実験
・評価分析

Research Products

• [Journal Article] Immersive Learning Support System of Kinect Sensor for Children to Learn Paleontological Environment (2015)
  • Author(s): Tomohiro Nakayama, Ryuichi Yoshida, Takahiro Nakadai, Takeki Ogitsu, Hiroshi Mizoguchi, Kaori Izuishi, Fusako Kusunoki, Keita Muratsu, Ryohei Egusa, Shigenori Inagaki
  • Journal Title: International Journal on Smart Sensing and Intelligent Systems (S2IS) Volume: Vol. 8 Pages: pp. 1050-1062
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] KIKIMIMI: Voice Separation System for Automating Post Evaluation of Learning Support System (2015)
  • Author(s): Takahiro Nakadai, Tomoki Taguchi, Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • Journal Title: Proceedings of the 7th International Conference on Computer Supported Education (CSEDU2015) Volume: Vol. 2 Pages: pp. 301-306
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] BESIDE: Body Experience and Sense of Immersion in Digital paleontological Environment (2015)
  • Author(s): Ryuichi Yoshida, Ryohei Egusa, Machi Saito, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • Journal Title: International Conference on Human-Computer Interaction (CHI2015) Extended Abstracts Volume: USB Pages: pp. 1283-1288
  • DOI: 10.1145/2702613.2732824
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Novel Application of Microphone Array Sensor for Children’s Language Learning Support --Intelligent Interactive Design Using Voice Separation and Recognition System-- (2015)
  • Author(s): Takahiro Nakadai, Motohiko Hano, Hiroshi Mizoguchi, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Masanori Sugimoto, Ryohei Egusa, Miki Namatame, Fusako Kusunoki
  • Journal Title: Proceedings of the 9th International Conference on Sensing Technology (ICST2015) Volume: USB Pages: pp. 832-835
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] BESIDE: Immersive System to Enhance Learning within a Museum (2015)
  • Author(s): Ryuichi Yoshida, Haruya Tamaki, Tsugunosuke Sakai, Ryohei Egusa, Machi Saito, Shinichi Kamiyama, Miki Namatame, Masanori Sugimoto,Fusako Kusunoki,Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • Journal Title: Proceedings of 21st International Conference on Collaboration Technologies, CRIWG2015 Volume: LNCS 9334 Pages: pp. 181-189
  • DOI: 10.1007/978-3-319-22747-4_14
  • Peer Reviewed / Acknowledgement Compliant
• [Presentation] Novel Application of Kinect Sensor to Support Immersive Learning within Museum for Children (2015)
  • Author(s): Ryuichi Yoshida, Haruya Tamaki, Tsugunosuke Sakai, Takahiro Nakadai,Takeki Ogitsu, Hiroshi Takemura, Hiroshi Mizoguchi,Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Machi Saito, Fusako Kusunoki, Shinichi Kamiyama, Etsuji Yamaguchi,Shigenori Inagaki, Yoshiaki Takeda
  • Organizer: The 2015 Ninth International Conference on Sensing Technology (ICST2015)
  • Place of Presentation: Auckland, New Zealand
  • Year and Date: 2015-12-08 – 2015-12-10
  • Int'l Joint Research
• [Presentation] Novel Application of Microphone Array Sensor for Children's Language Learning Support -- Intelligent Interactive Design Using Voice Separation and Recognition System-- (2015)
  • Author(s): Takahiro Nakadai, Motohiko Hano, Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki,Yoshiaki Takeda,Hiroshi Mizoguchi
  • Organizer: The 2015 Ninth International Conference on Sensing Technology (ICST2015)
  • Place of Presentation: Auckland, New Zealand
  • Year and Date: 2015-12-08 – 2015-12-10
  • Int'l Joint Research
• [Presentation] Experience-based Learning Support System to Enhance Child Learning in a Museum (2015)
  • Author(s): Ryuichi Yoshida, Haruya Tamaki,Tsugunosuke Sakai,Machi Saito ,Ryohei Egusa, Shinichi Kamiyama ,Miki namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • Organizer: 12th International Conference on Advances in Computer Entertainment TEchnology 2015 (ACE2015)
  • Place of Presentation: Iskandar, Malaysia
  • Year and Date: 2015-11-16 – 2015-11-19
  • Int'l Joint Research
• [Presentation] BESIDE: Immersive System to Enhance Learning within a Museum (2015)
  • Author(s): Ryuichi Yoshida, Haruya Tamaki, Tsugunosuke Sakai, Ryohei Egusa, Machi Saito, Shinichi Kamiyama, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, and Hiroshi Mizoguchi
  • Organizer: 21st International Conference on Collaboration Technologies, CRIWG2015
  • Place of Presentation: American University of Armenia (AUA), Yerevan, Armenia
  • Year and Date: 2015-09-22 – 2015-09-25
  • Int'l Joint Research
• [Presentation] KIKIMIMI: Voice Separation System for Automating Post Evaluation of Learning Support System (2015)
  • Author(s): Takahiro Nakadai, Tomoki Taguchi, Ryohei Egusa, Miki Namatame, Masanori Sugimoto, Fusako Kusunoki, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Hiroshi Mizoguchi
  • Organizer: The 7th International Conference on Computer Supported Education (CSEDU 2015)
  • Place of Presentation: Lisbon, Portugal
  • Year and Date: 2015-05-23 – 2015-05-25
  • Int'l Joint Research
• [Book] Collaboration and Technology (2015)
  • Author(s): Nelson Baloian, Yervant Zorian, Perouz Taslakian, Samvel Shoukouryan (Eds.)
  • Total Pages: 249
  • Publisher: Springer