2023 Fiscal Year Research-status Report

Standardization of skill assessment indices suitable for online environments and realization of reliable skill assessment methods

Research Project

Project/Area Number	22K18642
Research Institution	独立行政法人高齢・障害・求職者雇用支援機構職業能力開発総合大学校(能力開発院、基盤整備センター)
Principal Investigator	菊池拓男独立行政法人高齢・障害・求職者雇用支援機構職業能力開発総合大学校(能力開発院、基盤整備センター), 能力開発院, 教授 (20744775)
Project Period (FY)	2022-06-30 – 2025-03-31
Keywords	スキルテック / 技能科学 / 熟練技能 / 技能五輪 / 職業訓練 / 技能評価
Outline of Annual Research Achievements	技能競技会では，被評価者（選手）が訓練等で習得した技能が評価され優劣が決定する．従って，評価者は常に客観的な評価基準に基づいた（妥当性），正しい評価（信頼性）が求められる．この評価の信頼性は，技能訓練の効果を高めるために必須である．しかしながら，現実には評価者により評価結果が異なる「ばらつき」が存在しており，その割合や要因は明らかになっていない．本研究の目的は，このばらつきの割合や要因を解明したうえで，技能が評価基準に適合しているか判断するための様々な指標（評価指標）のうち，熟達した技能評価者（熟達評価者）の認知スキーマから有効指標を抽出しIoTデバイス等によりオンライン環境に適した構造化データとして標準化することで，様々な評価環境においても信頼性を担保する技能評価法を実現することである．令和5年度は令和4年度に引き続き、技能五輪国際大会の情報ネットワーク施工職種をモデルに、オンライン競技会を開催し、評価のばらつきの要因解明に取り組んた。オンライン競技会は、海外4か国をオンライン会議システム（Zoom）で結び開催した。競技映像は、各国ともカメラ2台により配信した。競技時間は90分、210分とし、作業時のリアルタイム映像による評価、競技後に撮影した写真による競技課題の成果物の評価等を行った。評価に要する時間、その精度については対面での評価と比較し、差がほぼないことが明らかとなっている。また、評価者の評価における認知スキーマのマイニングを開始した。また，オンライン環境における技能評価の方法について，5G回線による環境調査、展示施設でのオンライン環境による検証予備調査を行った．
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 技能五輪国際大会の代表選手のオンラインを活用した強化訓練等を研究の場としているが、令和4年度は、開催予定であった国際大会が中止となり、強化訓練そのものが行われなかった。また、令和5年度は、国際大会代表決定が12月となったことから、実証実験を十分に行うことができなかった。一方で、オンライン評価のための予備的実験（映像配信法、5G回線を用いた配信法等）を進めたことにより、環境的要因による評価への影響度を調査することができた。
Strategy for Future Research Activity	技能五輪国際大会が令和6年度9月にフランス・リヨンで開催されることが決定しており、そのための強化訓練が令和6年度にかけて行われている。COVID-19に関連した海外渡航制限も解除されていることから、海外へ渡航しての他国代表選手との合同競技会も再開しており、オンラインを活用した競技会の活用や期待度が減少している部分がある。一方で、本研究で行う様々なIoTデバイス等を活用したオンライン環境下における技能評価指標に関する成果は今後の新たな技能評価の在り方に大きく影響を与えるものであり、引き続き研究に取り組んでいく。令和6年度は、引き続き、技能評価のバラつきの割合と要因分析を各強化訓練において調査分析を進めるとともに、熟達評価者の認知スキーマのマイニングを進めるため5名の技能五輪国際大会エキスパート及び技能検定委員にヒアリングを行い、そのポイントをマイニングする。そのうえで、オンライン評価に適した技能評価指標の構造化・標準化を行い、対面環境とオンライン環境における技能評価の精度の比較を行う。これにより、信頼性を担保する技能評価指標を開発し、オンライン環境に適した技能評価法の実証を行う予定とする。
Causes of Carryover	令和5年度においては、オンライン環境の整備、国内2か所を接続しての技能評価機会の構築、予備的実験を進めたが、令和4年度からの繰越金等の活用を優先して進めたため、次年度使用額が生じることとなった。令和6年度は、オンライン評価のための指標を得るための様々なセンサを活用した環境構築費、ヒアリングのための人件費、データ分析費などに使用していく予定である。