2022 Fiscal Year Annual Research Report
Measurement and big data analysis of child's mental state for uncovering the non-cognitive ability
| Project/Area Number |
19H01718
|
|---|
| Research Institution | Tamagawa University |
|---|
Principal Investigator |
大森 隆司 玉川大学, 脳科学研究所, 研究員 (50143384)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
金井 玲奈 桜美林大学, 健康福祉学群, 助教 (00818065)
岡 夏樹 宮崎産業経営大学, 経営学部, 教授 (20362585)
長井 隆行 大阪大学, 大学院基礎工学研究科, 教授 (40303010)
中村 友昭 電気通信大学, 大学院情報理工学研究科, 准教授 (50723623)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 行動センシング / 関心推定 / 教員と生徒 / 相互作用 / グラスの集中 / 個々人の授業参加 |
|---|
| Outline of Annual Research Achievements |
2021年度までの研究により，教室での教員と児童生徒の行動センシングシステムの開発が完了した．教室サイズの空間で35人という日本の1クラスの標準人数に対する授業の映像から，個々人の位置と顔向き・視線の向きの計測に成功した．この広さと人数での映像からの詳細な個々人の行動情報の抽出は世界初である．
2022年度は，そこで得られた情報から，授業の活動状況とクラス全体の集中や児童生徒の授業の活動への参加の推定を目指した．さらにそのような児童生徒の活動を引き起こした教員と児童生徒の相互作用の解明にむけたデータ分析を行った． 結果，クラス内の児童生徒の視線の向きの交点群の分布からクラス全体の特定対象への集中度を推定することができ，さらにその集中が教員から児童生徒への語り掛けの瞬間に起きていることが判明した．さらにクラス全体の集中度を見ると，そこには緩急の波があり，教員が児童生徒を集中させる瞬間とその前後にリラックスさせてる瞬間を作り出していることがデータで示された．
このような教員と児童生徒の集団としての相互作用が実際の授業におけるデータで示されたことは2022年度の大きな成果であった．ただ，現在の分析は対面での講義型の授業場面のみであり，これを他の学びの活動に広げることが今後の課題である．
以上の成果は，教育工学会の大会など国内で８回の発表を行い，国際会議NCSP2023にて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度までの研究により，センサ装置はほぼ安定してカラー映像および距離画像を記録することができるようになり，2022年度は観測した教室での学びの活動の内容を分析する段階に移行した．
2021年度は幼稚園も観測対象としたが映像からの行動情報の抽出は困難であったことを踏まえ，2022年度は観測対象を教室で児童生徒が机に座っていて顔情報の抽出から教室での状況が把握しやすい小学生および中学生を対象として，関心をキーとしたクラスの学びに関する状態の推定を試みた．
当初の計画では一斉授業型の場面での関心推定の適用を想定していた．しかし，秋学期の授業では担当教員にお願いしてグループワーク型の活動を含む内容に変更した．これにより，当初の計画では予定していなかったグループワーク場面の計測に成功した．
一斉授業型の場面では，教員の働き掛けに対する児童生徒の関心の集中と弛緩を計測することができた．これは，単なる計測を超えて，教員と児童生徒の間の相互作用を定量的に計測したものと考えることができる．一方のグループワークに対しては現状の行動センサシステムでは各グループの詳細の活動の推定はこんなんであることが判明した．
以上の経過により，本共同研究は年度当初の目的とした教室での児童生徒の関心推定技術の開発に，その技術の応用としての教員と児童生徒の認知的な相互作用の検証が加わり，教育の先端技術による高度化の研究としての深みが加わった．
|
| Strategy for Future Research Activity |
2022年度の成果を受けて，以下に今後の課題を整理する．
(1) 個人追跡機能の拡充による処理の容易化：画像中から顔を検出をするが，その検出が一旦途絶えて回復したときに別の顔として認識される現象を顔認証などと組み合わせて解消し，個人追跡機能を充実することを目指す．
(2) 個人の授業参加度の推定精度向上：精度向上の鍵はデータ数の増加であり，そのためにはより多くのクラスの計測を行う．また，より高度な学習アルゴリズムの利用も必要であり，データの分布に合わせたアルゴリズムの検討が必要である．
(3) ダッシュボードの開発とデータベースの設計：教員に自身の授業の分析結果をフィードバックして，自身で検討してもらうための道具としてのダッシュボードの開発が必要である．また，ダッシュボードのバックエンド側のデータベースも，多くの授業の結果を相互利用して分析を行うためのしかけとして必要である．
(4) 処理のリアルタイム化：教員からの要望として多いのが，授業中のリアルタイムでの児童生徒の授業参加度の表示である．これにより，その場で授業の改善の試行ができる．現時点ではそこまでの処理の高速化は艱難であるが，中期的には目指したい．
|
