人物計測技術により没入感演出と注意推定、評価定量化とを図る博物館学習支援システム

2016 Fiscal Year Annual Research Report

• Project/Area Number: 15H02936
• Research Institution: Tokyo University of Science
• Principal Investigator: 溝口 博 東京理科大学, 理工学部機械工学科, 教授 (00262113)
• Co-Investigator(Kenkyū-buntansha): 稲垣 成哲 神戸大学, 人間発達環境学研究科, 教授 (70176387) ; 楠 房子 多摩美術大学, 美術学部, 教授 (40192025) ; 杉本 雅則 北海道大学, 情報科学研究科, 教授 (90280560)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Keywords: 教授学習支援システム / 注意推定 / 関心推定 / 博物館

Outline of Annual Research Achievements

本研究の目的は、事後ではなく、授業中や実験中、実技中、鑑賞中、参観中の「その場」、「その時」の生徒の注意・関心・了解度を自動または半自動で推定することにある。最終的には、この推定結果を学習中の教授者・学習者双方にフィードバックし、より効果的で効率的な学習支援技術を打ち立てることを目指す。自然科学、なかでも実験科学には、反応や作用が行われている「その場」「その時」の情報と、それを獲得するための技術の重要性を示す"in situ"なる概念があるが、これを敷衍して、まさに学習の現場での学習者の状況をin situに把握し推定する技術を、確立することにある。しかも、従来は熟練の教師の勘・経験に頼らざるを得なかったこれら情報の、機械による定量化を図るものである。
この目的のため、平成28年度には、前年度の要素技術の成果を踏まえて以下の項目について研究に取り組み、進展を得た。
①暫定版システムの開発：前年度の要素技術開発の成果を統合し、コンテンツ・人物計測・評価定量化・教育プログラムの統合と実装を図った暫定版システムの開発を行った。
②実証実験（平成28年度下半期）：県立博物館にて実験を実施した。対象には一般来館者としての子供と共に、神戸大学附属小学校の協力を得て数十名の被験者を確保できた。
③評価分析：実証実験から得られたデータを総合的に分析した。定量的データとしては、科学への動機付けの向上、関心の度合い、身体行為の度合い、理解深化などについて評価した。特に、事後評価定量化技術の吟味を行い、妥当性を評価すると共に問題点・改善課題の洗い出しを行って、次年度以降の改善を図った。ビデオ等の定性的なデータについても、定量化技術のための支援推定、注視検出などを援用して定量性を導入し、分析のための新たな道具の提供を図った。評価分析結果は、国内外の学会に論文投稿した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

上記「研究実績の概要」で述べたように、平成28年度は①暫定版システムの開発、②実証実験、③評価分析の3項目について研究に取り組み、進展を得た。
これらのうち、①については実験室内に限定するものではなく、博物館や小学校の現場に持ち出しても安定に稼働して実験に供することができるだけのシステム開発に成功した。これにより、②の実証実験の実施が可能となった。①～③の成果については、国内学会ならびに国際学会で発表を行うと共に、論文として纏めて学会に投稿することができた。
以上が、「（２）おおむね順調に進展している」と判断した理由である。

Strategy for Future Research Activity

最終年度の平成29年度においては、前年度までの成果を踏まえ、拡張版システムの構築と博物館等と連携した実証実験とを実施する。具体的には以下の項目について研究を推進する。
・拡張版システムの開発
・第2回実証実験
・評価分析
・研究の総括

Research Products

• [Journal Article] Augmentation of Museum Science Education Using Human-Interaction Technology (2017)
  • Author(s): Haruya Tamaki, Tsugunosuke Sakai, Ryuichi Yoshida, Yosuke Ota, Ryohei Egusa, Shigenori Inagaki, Etsuji Yamaguchi, Fusako Kusunoki, Miki Namatame, Masanori Sugimoto and Hiroshi Mizoguchi
  • Journal Title: Proceedings of IOSTE2016(International Organization for Science and Technology Education) Volume: 印刷中 Pages: 印刷中
  • Peer Reviewed
• [Journal Article] Interactive Object d'art based on IoT Technology (2016)
  • Author(s): Tsugunosuke Sakai, Haruya Tamaki, Yosuke Ota, Hiromi Tominaga, Fusako Kusunoki, Hiroshi Mizoguchi
  • Journal Title: Proceedings of the 14th International Conference on Control, Automation, Robotics and Vision, 2016 (ICARCV 2016) Volume: Mo32.4 Pages: -
  • Peer Reviewed
• [Journal Article] Depth Information Based Separation of Moving Speakers' Voices from Mixed Recordings (2016)
  • Author(s): Takahiro Kigawa, Taisuke Sakano, Hiroshi Mizoguchi, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Miki Namatame, Fusako Kusunoki, Masanori Sugimoto, Ryohei Egusa
  • Journal Title: Proceedings of 2016 IEEE International Conference on System, Man, and Cybernetics (SMC2016) Volume: - Pages: 1764-1767
  • Peer Reviewed
• [Journal Article] BECOME: Body Experience-based Co-Operation between juveniles through Mutually Excited team gameplay (2016)
  • Author(s): Tsugunosuke Sakai, Haruya Tamaki,Ryuichi Yoshida, Ryohei Egusa, Etsuji Yamaguchi, Shigenori Inagaki, Fusako Kusunoki, Miki Namatame, Masanori Sugimoto & Hiroshi Mizoguchi
  • Journal Title: Proceedings of ICEC2016 (18th International Conference on Entertainment Computing) Volume: - Pages: 3199-3203
  • Peer Reviewed
• [Journal Article] UKIYO-E: “User Knowledge Improvement based on Youth Oriented Entertainment” -- Art Appreciation Support by Interacting with Picture-- (2016)
  • Author(s): Haruya Tamaki, Tsugunosuke Sakai, Ryuichi Yoshida, Ryohei Egusa, Etsuji Yamaguchi, Shigenori Inagaki, Fusako Kusunoki, Miki Namatame, Masanori Sugimoto & Hiroshi Mizoguchi
  • Journal Title: Proceedings of ICEC2016 (18th International Conference on Entertainment Computing) Volume: - Pages: 3204-3208
  • Peer Reviewed
• [Journal Article] Participatory Design of UKIYO-E Game for Children to Support Art Appreciation Based on Interacting with Pictures (2016)
  • Author(s): Tamaki H., Sakai T., Ota Y., Egusa R., Yamaguchi E., Inagaki S., Kusunoki F., Namatame M., Sugimoto M., & Mizoguchi H.
  • Journal Title: Proceedings of IDC2016 (The 2016 Conference on Interaction Design and Children) Volume: - Pages: 637-642
  • Peer Reviewed
• [Journal Article] COSEY: Computer Supported Enhancement of Young Children’s Cooperation - Toward a Multiple-player Cooperative Full-body Interaction Game - (2016)
  • Author(s): Sakai, T., Tamaki, H., Yoshida, R., Egusa, R., Inagaki, S., Yamaguchi, E., Kusunoki, F., Namatame, M., Sugimoto, M., & Mizoguchi, H
  • Journal Title: Proceedings of the 8th International Conference on Computer Supported Education (CSEDU2016) Volume: 2 Pages: 175-180
  • Peer Reviewed
• [Journal Article] Science Education Enhancement within a Museum using Computer-human Interaction Technology (2016)
  • Author(s): Tamaki, H., Sakai, T., Yoshida, R., Egusa, R., Inagaki, S., Yamaguchi, E., Kusunoki, F., Namatame, M., Sugimoto, M., & Mizoguchi, H.
  • Journal Title: Proceedings of the 8th International Conference on Computer Supported Education (CSEDU2016) Volume: 2 Pages: 181-185
  • Peer Reviewed
• [Presentation] 手の位置・動作認識技術に関する研究 (2017)
  • Author(s): 川口 漱也, 竹村 裕, 溝口 博
  • Organizer: 日本機械学会関東支部第56回学生員卒業研究発表講演会
  • Place of Presentation: 東京理科大学葛飾キャンパス(東京都葛飾区)
  • Year and Date: 2017-03-16 – 2017-03-16
• [Presentation] 理科教育支援のための”さわれる”体験型デジタルコンテツに関する研究 (2017)
  • Author(s): 太田 耀介，酒井 嗣之介，玉木 晴也，溝口 博，小宮山 みな，川端 美嶺，楠 房子，江草 遼平，稲垣 成哲，杉本 雅則
  • Organizer: 情報処理学会第15回DCC合同研究発表会
  • Place of Presentation: 土庄町総合会館, 香川県小豆郡土庄町
  • Year and Date: 2017-01-20 – 2017-01-21
• [Presentation] Interactive Object d'art based on IoT Technology (2016)
  • Author(s): Tsugunosuke Sakai, Haruya Tamaki, Yosuke Ota, Hiromi Tominaga, Fusako Kusunoki, Hiroshi Mizoguchi
  • Organizer: The 14th International Conference on Control, Automation, Robotics and Vision, 2016
  • Place of Presentation: Phuket, Thailand
  • Year and Date: 2016-11-13 – 2016-11-15
  • Int'l Joint Research
• [Presentation] Depth Information Based Separation of Moving Speakers' Voices from Mixed Recordings (2016)
  • Author(s): Takahiro Kigawa, Taisuke Sakano, Hiroshi Mizoguchi, Etsuji Yamaguchi, Shigenori Inagaki, Yoshiaki Takeda, Miki Namatame, Fusako Kusunoki, Masanori Sugimoto, Ryohei Egusa
  • Organizer: IEEE International conference on Systems, Man, and Cybernetics(IEEE SMC 2016)
  • Place of Presentation: Budapest, Hungary
  • Year and Date: 2016-10-09 – 2016-10-12
  • Int'l Joint Research
• [Presentation] BECOME: Body Experience-based Co-Operation between juveniles through Mutually Excited team gameplay (2016)
  • Author(s): Tsugunosuke Sakai, Haruya Tamaki, Ryuichi Yoshida, Ryohei Egusa, Etsuji Yamaguchi, Shigenori Inagaki, Fusako Kusunoki, Miki Namatame, Masanori Sugimoto & Hiroshi Mizoguchi
  • Organizer: ICEC2016 (18th International Conference on Entertainment Computing)
  • Place of Presentation: Paris, France
  • Year and Date: 2016-08-22 – 2016-08-23
  • Int'l Joint Research
• [Presentation] UKIYO-E: “User Knowledge Improvement based on Youth Oriented Entertainment” -- Art Appreciation Support by Interacting with Picture-- (2016)
  • Author(s): Haruya Tamaki, Tsugunosuke Sakai, Ryuichi Yoshida, Ryohei Egusa, Etsuji Yamaguchi, Shigenori Inagaki, Fusako Kusunoki, Miki Namatame, Masanori Sugimoto & Hiroshi Mizoguchi
  • Organizer: ICEC2016 (18th International Conference on Entertainment Computing)
  • Place of Presentation: Paris, France
  • Year and Date: 2016-08-22 – 2016-08-23
  • Int'l Joint Research
• [Presentation] 博物館における没入的学習体験支援をめざした身体行為付き学習支援システムBESIDE (2016)
  • Author(s): 酒井嗣之介， 玉木晴也， 太田耀介， 江草遼平，稲垣成哲， 楠房子， 杉本雅則， 溝口博
  • Organizer: 日本科学教育学会第40回年会
  • Place of Presentation: ホルトホール大分(大分県大分市）
  • Year and Date: 2016-08-19 – 2016-08-21
• [Presentation] Augmentation of Museum Science Education Using Human-Interaction Technology (2016)
  • Author(s): Haruya Tamaki, Tsugunosuke Sakai, Ryuichi Yoshida, Yosuke Ota, Ryohei Egusa, Shigenori Inagaki, Etsuji Yamaguchi, Fusako Kusunoki, Miki Namatame, Masanori Sugimoto and Hiroshi Mizoguchi
  • Organizer: IOSTE2016(International Organization for Science and Technology Education)
  • Place of Presentation: Braga,Portugal
  • Year and Date: 2016-07-11 – 2016-07-16
  • Int'l Joint Research
• [Presentation] Participatory Design of UKIYO-E Game for Children to Support Art Appreciation Based on Interacting with Pictures (2016)
  • Author(s): Tamaki H., Sakai T., Ota Y., Egusa R., Yamaguchi E., Inagaki S., Kusunoki F., Namatame M., Sugimoto M., & Mizoguchi H.
  • Organizer: IDC2016 (The 2016 Conference on Interaction Design and Children)
  • Place of Presentation: Manchester, UK
  • Year and Date: 2016-06-21 – 2016-06-24
  • Int'l Joint Research
• [Presentation] 距離画像センサを利用した音源分離の研究 ー移動音源分離に向けてー (2016)
  • Author(s): 木川 貴博,坂野 太亮,竹村 裕,溝口 博
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会2016(ROBOMECH2016)
  • Place of Presentation: パシフィコ横浜（神奈川県横浜市）
  • Year and Date: 2016-06-08 – 2016-06-11
• [Presentation] 能動的な絵画鑑賞に向けた絵画鑑賞支援システムに関する研究 (2016)
  • Author(s): 玉木 晴也,酒井 嗣之介,吉田 龍一,太田 耀介,竹村 裕,溝口 博 ,楠 房子,江草 遼平, 稲垣 成哲,山口 悦司, 杉本 雅則,生田目 美紀
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会2016(ROBOMECH2016)
  • Place of Presentation: パシフィコ横浜（神奈川県横浜市）
  • Year and Date: 2016-06-08 – 2016-06-11
• [Presentation] フルボディインタラクションを用いた子供の協調性向上のための協同ゲーム (2016)
  • Author(s): 酒井嗣之介,玉木晴也,太田耀介,竹村裕, 江草遼平,山口悦司,稲垣成哲, 楠房子,生田目美紀, 杉本雅則,溝口博
  • Organizer: 日本機械学会ロボティクス・メカトロニクス講演会2016(ROBOMECH2016)
  • Place of Presentation: パシフィコ横浜（神奈川県横浜市）
  • Year and Date: 2016-06-08 – 2016-06-11
• [Presentation] COSEY: Computer Supported Enhancement of Young Children’s Cooperation - Toward a Multiple-player Cooperative Full-body Interaction Game - (2016)
  • Author(s): Sakai, T., Tamaki, H., Yoshida, R., Egusa, R., Inagaki, S., Yamaguchi, E., Kusunoki, F., Namatame, M., Sugimoto, M., & Mizoguchi, H
  • Organizer: the 8th International Conference on Computer Supported Education(CSEDU 2016)
  • Place of Presentation: Rome, Italy
  • Year and Date: 2016-04-21 – 2016-04-23
  • Int'l Joint Research
• [Presentation] Science Education Enhancement within a Museum using Computer-human Interaction Technology (2016)
  • Author(s): Tamaki, H., Sakai, T., Yoshida, R., Egusa, R., Inagaki, S., Yamaguchi, E., Kusunoki, F., Namatame, M., Sugimoto, M., & Mizoguchi, H.
  • Organizer: the 8th International Conference on Computer Supported Education(CSEDU 2016)
  • Place of Presentation: Rome, Italy
  • Year and Date: 2016-04-21 – 2016-04-23
  • Int'l Joint Research