プログラミング授業をサポートするティーチングアシスタントロボットに関する研究

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K03106
• Research Institution: Kanagawa Institute of Technology
• Principal Investigator: 吉野 和芳 神奈川工科大学, 創造工学部, 教授 (10298284)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: プログラミング教育 / ティーチングアシスタントロボット / 授業支援 / 画像処理 / Pepper / LEGO MINDSTORMS EV3 / アドバイス

Outline of Annual Research Achievements

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットの構築を目指し，ティーチングアシスタントロボットとしてソフトバンク社のPepperを利用し，そのPepperに備わっているビデオカメラの映像やセンサの情報を活用し研究を進めてきている．特に，2021年度は，①授業につまずきそうな学習者への声掛け，②車輪型ロボットの組み立ての確認とアドバイスを中心に研究を進めてきた．
授業につまずきそうな学習者への声掛けに関しては，教室内で挙手した学習者を発見し，その学習者のところへPepperが移動し，学習者へどこでつまずいているかを確認することを行った．挙手した学習者の発見は，Pepperに搭載されているビデオ映像を処理し，学習者の顔と手の位置関係から挙手しているかを判断することで実現している．また，学習者のところへの移動は，Pepperから見た挙手した学習者のいる方向に向け移動し，その移動中はPepperに搭載されている超音波センサで周囲の状況を確認し，机などの障害物にぶつからないようにしている．
車輪型ロボットの組み立ての確認では，組み立て途中で分からないところがあった学習者に対し，組み立てマニュアルの何ページ目で困っているかを判断する技術を確立した．具体的には，学習者が組み立て途中でタブレットや印刷した組み立てマニュアルの開いているページをPepperに搭載しているビデオカメラ映像から組み立てマニュアルの図を検出し，データベースとして持っている画像とマッチングさせることで，組み立てマニュアルのページ数を判断している．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットにおいて必要となる機能として，2020年度の機能に加え，①授業につまずきそうな学習者への声掛け，②車輪型ロボットの組み立ての確認においては，それぞれの基礎的技術は構築できたと思われる．
それらの技術を評価するための実験を通して，うまくいかないケースがいくつかあったが，それらの問題を発見することができ，また，それらの原因も予想がつくことであるため，今後の研究を進めていくためにも有益だったと思われる．
個々に確立してきた技術を一つのシステムとして融合していくことに注力し，研究を進めていく．

Strategy for Future Research Activity

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットの構築を目指し，2022年度では，これまで確立してきた基礎的技術を発見できた問題点も踏まえ，改善・発展させ，①車輪型ロボットの組み立て時におけるアドバイス，②車輪型ロボットのプログラミング時におけるアドバイスの方法，③ティーチングアシスタントロボットとして基礎的研究の融合について検討していく．
車輪型ロボットの組み立て時に，学習者がつまずいている（分からない，困っている）ところを判断し，そのつまずきを解消できるようにアドバイスする方法に関して検討していく．つまずいているところの判断には，組み立てマニュアルのページ，組み立てに使うパーツの種類をPepperのビデオカメラ映像を処理して判断するとともに，Pepperから学習者への問いかけや学習者からの質問を発話や音声認識で判断した内容も加え，アドバイスしていく．アドバイスの内容は，つまずいている箇所や質問内容であらかじめデータベースとして蓄えておくこととする．
車輪型ロボットのプログラミング時におけるアドバイスでは，学習者が作成したGUIプログラムの内容と学習者との会話の情報からつまずいているところを判断し，アドバイスする．学習者のプログラムは，学習者がタブレットで作成している画面を画像処理し，学習者が使っているGUIプログラムのパーツを認識することで内容を理解する．そのプログラムの内容と学習者への問いかけに対する学習者からの回答でアドバイスする内容をあらかじめデータベースとして蓄えておくこととする．
ティーチングアシスタントロボットとして一連の動作ができるよう，これまで構築してきた個々の基礎的技術を融合していくために必要な関連技術についても検討していく．

Causes of Carryover

予定していた国際会議が新型コロナウィルス感染症の影響により中止となったため，会議参加費や海外への渡航費，また，半導体不足により，購入を予定していたセンサが入荷未定であったため，予算を消化できなかった．
2022年度においては，購入を予定していたセンサに代わるセンサ，および，そのセンサを制御するためのPC，ネットワークシステムの購入に充てる予定である．