2021 Fiscal Year Research-status Report

An Experience Sharing Platform for Programming Learning Based-on the Creative Learning Spiral

Research Project

Project/Area Number	21K12165
Research Institution	Ritsumeikan University
Principal Investigator	高田秀志立命館大学, 情報理工学部, 教授 (30378830)
Project Period (FY)	2021-04-01 – 2024-03-31
Keywords	プログラミング学習 / 振り返り活動 / 体験共有 / 画像処理
Outline of Annual Research Achievements	主に小学生を対象としたプログラミングワークショップにおいて、ワークショップ中の体験を振り返り、また、まだワークショップに参加したことのない子ども達ともその体験を共有できるようなプラットフォームの構築を行っている。本研究では、ワークショップ中に録画したPCの画面や参加者の仕草などから、振り返りや体験共有に有用な場面を抜き出し、短時間の動画として生成できるようにすることを目指している。今年度は、まず実際のワークショップにおいて映像や音声の収録を行うことによって、どのような場面を抽出すれば良いのかについての検討を行うとともに、3時間程度のワークショップで録画されたPC画面から重要場面を抽出する手法の検討と実装を行い、実際のワークショップで収集されたPC画面録画に対して適用および評価を行った。重要場面の抽出には、オープンソースの画像処理エンジンであるOpenCVを用い、ワークショップで利用しているビジュアルプログラミング環境Scratchにおける画面上の特徴点を認識し、特徴点の動きがある一定の条件を満たすかどうかで判定する手法を構築した。評価の結果として、ワークショップで作成した作品の創作過程において、抽出が期待される場面の65%程度が抽出できていたものの、70%程度が冗長であり、抽出条件を洗練する必要のあることが分かった。今後、機械学習の適用も含め、改善を行っていく予定である。また、新型コロナウィルス禍の中でもワークショップを実施し、振り返り活動が行えるように、遠隔ワークショップの環境についても検討を行い、講師側の活動を支援するようなツールのプロトタイプシステムを構築した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究の中心課題である、プログラミングによる作品の創作過程を収録したPC画面から重要な場面を抽出する手法については、似たような場面が繰り返されるなど、冗長性に課題が残っているが、基本的な実現方法については目処が立ったと考えている。一方で、NPO法人と協力して月に2回程度の割合で開催しているワークショップが新型コロナウィルス禍によって予定の半分以下の回数しか実施できなかったこと、および、ワークショップ中の子ども達の仕草に関する扱いについては、マスクを着用したままでワークショップに参加することを余儀なくされており、表情の特徴を分析することができないなど、当初想定していたような状況とは異なる面が出てきている。今後、マスクを外した状態でワークショップを行えるようになることも期待しつつ、活動の振り返りや体験の共有において、子ども達の仕草としてどのような場面を抽出することが有用かについても再検討を行っていく必要があると考えている。
Strategy for Future Research Activity	まず、PC画面から重要場面を抽出する手法について、期待される場面の取りこぼしを低く抑えつつ、似たような場面を除けるように精度を高めていく。これには、PC画面そのものに対して機械学習を適用する方法について検討する他、OpenCVによって認識した特徴点を描画した画像を用いて機械学習を行う方法についても検討を行う予定である。また、コロナ禍が落ち着きつつあることから、ワークショップ開催によるデータ収集を加速し、子ども達の仕草に関する扱いについても具体化を行う。さらに、現状、生成した動画はYouTube上で閲覧可能にしているが、CMS等を用いてユーザの利便性を高める方策についても検討を行う。研究成果については、国際論文誌や国際会議への論文投稿を積極的に進めるとともに、プログラミングワークショップのイベントなどを通じて広く一般に還元していく。
Causes of Carryover	コロナ禍により学会参加がオンラインになったことにより、旅費の支出が想定を下回った。また、プログラミングワークショップで収集した子ども達の仕草等の録画映像の分析を大学院生・学生に協力を得て行う予定であったが、ワークショップの開催回数が予定を下回り、また、マスクをした状態であったため表情が十分に捉えられないため、分析を保留している。令和4年度は、コロナ禍に落ち着きが見られることから、学会参加の機会を増やしていくとともに、録画映像の分析についても、方針を検討しつつ加速する。