Development of pause-input programming materials that create excitement

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K14109
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Fukui National College of Technology
• Principal Investigator: Komatsu Takahiro 福井工業高等専門学校, 電子情報工学科, 准教授 (60638766)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: Skeleton Estimation / Machine Learning Model / Programming Materials

Outline of Final Research Achievements

A machine learning model was developed to estimate the human skeleton (joint positions) from camera images, and the model was used to develop programming materials that do not require a keyboard or other tools. The machine learning model was designed to run on mobile devices such as smartphones, and Octave Convolution was used for lightweight and high-speed processing. The developed model takes approximately 4 seconds from loading the model to displaying the estimation results, and the estimation time alone is approximately 0.135 seconds, which is considered to be a sufficient delay time for use as an input device for programming materials.

Free Research Field

知能情報学

Academic Significance and Societal Importance of the Research Achievements

小学校では2020年度から、中学校では2021年度からプログラミング教育が必修化されたが、実際にプログラミング言語を学ぶことではなく論理的思考を身につけることが目的である。一方で論理的思考力は幼児期から身につけることができるが、プログラミングする際のキーボード・マウス操作に慣れるための身体的な訓練が必要となり、従来のプログラミング教材ではその点が問題である。本研究では、スマートフォンなどのモバイルデバイスのカメラ機能を用いてプログラミングすることができ、ポーズにアサインされた命令を組み合わせることで論理的思考力を身につけることが可能な教材となっている。