Development of Remote Learning Support System with the Eye-Gaze-Type Robot to Reduce Overload of Long-Term Absent Students

2021 Fiscal Year Annual Research Report

• Project/Area Number: 19H04228
• Research Institution: Ehime University
• Principal Investigator: 苅田 知則 愛媛大学, 教育学部, 教授 (40363189)
• Co-Investigator(Kenkyū-buntansha): 穆 盛林 愛媛大学, 理工学研究科(工学系), 講師 (00709818) ; 柴田 論 愛媛大学, 理工学研究科(工学系), 教授 (10263956) ; 樫木 暢子 愛媛大学, 教育学部, 教授 (10635858) ; 山本 智規 愛媛大学, 社会共創学部, 教授 (30380257) ; 中野 広輔 愛媛大学, 教育学部, 教授 (60735330)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: アバターロボット / 遠隔学習支援システム / Kinect センサー / 教師の指さし動作 / 視線を用いた操作

Outline of Annual Research Achievements

本研究の目的は、長期欠席児の過重負荷を軽減するユーザーアシスト機能をアバターロボットに搭載し、学校の教室内にアバターロボットを設置してそれを通じて長期欠席児が授業を受ける、あるいは友達とコミュニケーションをとることを可能にする遠隔学習支援システムを開発し、その教育効果を科学的に評価することであった。本年度は、ユーザーの授業理解支援モードの実用化に向けた開発、データ取得・分析を行い、以下の成果を得た。

１）授業理解支援モードとして，黒板上の情報量過多による集中力や理解力の低下を防ぐため，教師の黒板への指さし動作を認識して指された部分を拡大するシステムの機能改善を行った。当該システムにおけるプログラムの修正を行い、左右の指さし動作への対応、および動作の安定性向上を行った。

２）上記１）によって改善した授業理解支援モードを、公立小学校の現職職員に試用を依頼し、当該システムの使用感調査および改善要望の収集を行った。使用感調査では、当該システムをZoomによる遠隔授業と組み合わせての使用感データを収集した。当該システムについては全体的に肯定的な評価が得られ、機能の改善にかかわる具体的な課題について収集することができた。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Study on Eye-gaze Input Interface based on Deep Learning using Images Obtained by Multiple Cameras (2022)
  • Author(s): Shenglin Mu, Satoru Shibata, Kuo-chun Chiu, Tomonori Yamamoto, Tung-kuan Liu
  • Journal Title: Computers and Electrical Engineering Volume: - Pages: -
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Eye-Interface System Using Convolutional Neural Networks for People with Physical Disabilities (2021)
  • Author(s): Keiichiro Kubo, Satoru Shibata, Tomonori Karita, Tomonori Yamamoto, Shenglin Mu
  • Journal Title: EAI/Springer Innovations in Communication and Computing 4th EAI International Conference on Robotic Sensor Networks Volume: - Pages: 81～91
  • DOI: 10.1007/978-3-030-70451-3_7
  • Peer Reviewed
• [Presentation] 長期欠席児のための指さし拡大機能を搭載した遠隔授業支援システムのフィールド調査報告 (2022)
  • Author(s): 戸谷 彰宏・苅田 知則・Von Ralph Dane Marquez Herbuela・柴田 論・穆 盛林・山本 智規
  • Organizer: 第189回ヒューマンインタフェース学会研究会
• [Presentation] Kinect camera sensor-based pointing motion recognition with magnification function to increase concentration among children during remote classes. (2021)
  • Author(s): Herbuela, V.R.D.M., Eom, Y., Karita, T., Wada, Y., Shibata, S., Mu, S., Omori, T.
  • Organizer: 4th International Conference on Advanced Research in Education, Teaching, and Learning (ARETL)
  • Int'l Joint Research
• [Presentation] Kinect camera sensor-based pointing motion recognition and magnification function to stimulate and maintain the concentration among children during remote classes. (2021)
  • Author(s): Herbuela, V.R.D.M., Eom, Y., Karita, T., Wada, Y., Shibata, S., Mu, S.
  • Organizer: ICDE Virtual Global Conference Week 2021: Upskilling and upscaling for quality Open, Flexible and Distance Learning (OFDL)
  • Int'l Joint Research