プログラミング授業をサポートするティーチングアシスタントロボットに関する研究

2022 Fiscal Year Research-status Report

• Project/Area Number: 20K03106
• Research Institution: Kanagawa Institute of Technology
• Principal Investigator: 吉野 和芳 神奈川工科大学, 創造工学部, 教授 (10298284)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: プログラミング教育 / ティーチングアシスタントロボット / 授業支援 / 画像処理 / Pepper / LEGO MINDSTORMS EV3 / アドバイス

Outline of Annual Research Achievements

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットの構築を目指し，ティーチングアシスタントロボットとしてソフトバンク社のPepperを利用し，そのPepperに備わっているビデオカメラの映像やセンサの情報を活用し研究を進めてきている．特に2022年度では，車輪型ロボットの組み立て時におけるアドバイスにおいて，これまで個別に開発してきた基礎的技術を融合させ，質問者の発見から，質問者の下へ移動し，質問内容の確認，アドバイスまでの動作を行えるようにした．
挙手した質問のある学習者の発見は，教室内で学習者の顔の検出と手の検出を行い，その位置関係から質問者を特定している．その質問者の下への移動は，Pepper with the QiSDKのためのAPIを利用して，発見された質問者の顔のある方向をルートとして決定し，そのルートを進む．このとき，ティーチングアシスタントロボットは，Pepperの足元についているセンサでルート上の障害物を避けながら進んでいく．
車輪型ロボットの組み立て時のアドバイスでは，これまでの経験でよくある質問として，組み立てマニュアルに載っているパーツをどこに付けたら良いのか分からないという状況を想定し，分からないパーツの認識と組み立てマニュアルのページの認識を特徴量マッチングという画像処理技法を利用して行った．パーツの認識では，車輪型ロボットの組み立てに使うパーツすべてを撮影した画像とPepperのカメラで撮影したパーツの画像の2枚を利用し，また，組み立てマニュアルでは，組み立てマニュアル内にある図を集めた画像と学習者が利用しているタブレットの画面をPepperのカメラで撮影した画像を使い，特徴量マッチングして，特徴量が似ている点が集中しているパーツやマニュアル内の図を検出して，判断している．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットにおいて必要となる機能として，2021年度までに確立した個々の基本的技術を融合させ，特に，車輪型ロボットの組み立て時を想定し，授業に質問のある学習者の発見から，車輪型ロボットの組み立て時に多い，組み立てにパーツをどこに付けたら良いのかという質問に対応するまでの技術の確立はでき，ここまではおおむね順調に来ている．
取り付け位置が分からないパーツを質問するときには，現在のシステムでは，そのパーツを机の上に置いて認識しているが，経験上よくあるシチュエーションでは，学習者がパーツを手に持って質問することがほとんどである．そこで，手に持ったパーツの認識に関する技術としてHaar-like特徴量を利用したカスケード分類器を利用した方法の検討と開発，実験を行ってきたが，学習者の見せ方によって，パーツの明るさや角度など，画像内での見え方にばらつきが多く，認識率が低い状況である．
さらに，新型コロナウィルス感染症の影響があり，学習者はマスクをしているため，質問のある学習者の顔の検出ができなく，質問のある学習者の発見やその学習者の下への移動が難しく，また，複数人のいる教室を想定したティーチングアシスタントロボットの挙動に関連する実験ができていない．

Strategy for Future Research Activity

小学生の子どもたちの車輪型ロボットを活用したプログラミング授業における教師をサポートするティーチングアシスタントロボットの構築を目指し，2023年度では，質問のある学習者の検出の精度，および，車輪型ロボットの組み立て時において，学習者が取付位置が分からないパーツを質問したときにそのパーツを判別する精度の良い方法の確立を目指す．
これまでのパーツの認識では，机に置いた状態であり，授業中では不自然なものであった．申請者の経験では，多くの場合，子どもたちは手に質問のあるパーツを持って，見せてくるものである．そこで，2023年度では，手に持ったパーツを認識し，そのパーツを取り付ける場所をアドバイスすることを行う．
具体的には，AI（人工知能）の一つであるPyTorchと呼ばれるディープラーニング用のフレームワークを利用して車輪型ロボットで利用するパーツの学習を行い，その学習結果を用いて，パーツの検出と認識を行うことを試みる．手に持ったパーツの画像の収集と学習を繰り返し行うとともに，学習に効率の良い画像の前処理方法についても検討していく．

Causes of Carryover

新型コロナウィルス感染症の影響により，学習者がマスクを着用する必要があり，また，複数人がいる教室も控えた方が良いと判断し，本研究の有効性を確認するための実験もできず，本研究を客観的に評価してもらう国際会議への参加ができなかった．
2023年度においては，残金のほとんどを国際会議へ参加するための参加費や渡航費，論文校正費などへ利用する予定である．