2019 Fiscal Year Research-status Report
Improvement of Personal Concentration Estimation by Image Analysis
| Project/Area Number |
18K02901
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 琉球大学, 教育学研究科, 教授 (70336353)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 集中度 / Openpose / 学習 / 姿勢 / 生徒 |
|---|
| Outline of Annual Research Achievements |
動いたり、マスクを着用している聴講者に対し、顔領域の情報が取得することができなかったり、顔領域が検出できたとしても顔向きの特徴を抽出することができず、認識精度の低下を引き起こす。また、教材をプロジェクトに投影しながら進める授業では聴講者が正面に設置されている一定の方向のみを見ている状態であるため、聴講者の動きが少なく「前を向いているかそれ以外の姿勢か」という単純な推定しかできない課題がある。そこで、本研究の２年目である2019年度においては、実際に授業のビデオ映像から聴講者の顔向きや上半身の動き（姿勢）を検出する手法の開発に重点をおき、その精度を向上させるため研究を行った。
先行研究では授業のビデオ映像から OepnCV を用いて聴講者を検出し、顔の向きを判定したが、さらに、Openpose を導入し、人物の関節の座標データを抽出し、融合した。OpenPose は入力の画像に複数人数映っていたとしても、それぞれの人物に対してキーポイントの検出が可能である。本研究で提案するシステムは、教育現場で利用されることを想定しているため、入力となる動画に映る人物は複数存在し、その人数はクラスにより異なることが予想される。人数に関係なくキーポイントの検出が可能な OpenPose は本 システムにおいて有効である。
その有効性を検証する実験では、あるフレーム間での両目の座標の増減を求め、しきい値と比較することで動作の発生を算出し、そこから動作譜を作成し、周囲の動作との比較を行うことで、顔の向きの検出精度の向上を確認することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究で提案するシステムは、大きく分けて ①人物(生徒)検出部、②動作検出部、③集中度推定部の3つの処理過程により構成されている。本年度（２年目）では、OpenCVとOpenposeに融合し、授業中に撮影した映像から聴講者の姿勢や動き（動作）の候補領域(Candidate Location of Audiences, CLAs)を検出し、両目、両肩、首、両手首の座標値から「顔の動き」と「髪や顔を触る、ほお杖をつく仕草」、「顔の向きの変化」の3つの動作を推定し、時系列のディスクリート信号（動作譜）を生成する動作検出部の構築ができた。
実際に授業のビデオ映像を用いて検証実験を行なっており、教室内にいる 34名に加えて、廊下を歩いている人物１名を含めた合計 35名中、31名が検出され、検出率は 88.5 %となっている。また、前後フレームの右目と左目それぞれの座標の移動距離から、そのフレームで動作が発生したか検出を行い、各個人の両目の座標から動作を求め、動作譜を作成することができた。
この結果を踏まえて、本研究の進捗状況はおおむね順調であると判断している。
|
| Strategy for Future Research Activity |
最終年度においては、集中度推定部を構築する予定である。授業担当の教師、生徒の睡眠と学習能力との関連性を研究している共同研究者の笹澤吉明准教授、小林稔教授とともに主観的な評価に基づき集中度のパターンを定義する。また、動作検出部で得られた全ての動作譜から相関関係を求め、学習集団と異なる姿勢や動きを発見し、分析する。
この分析結果をもとに集中度のパターンと相関関係を総合し、集中状態（話者の方を向き、話を聞こうとしている姿勢であり、そして学習団との相関を持っている状態），曖昧状態（集中状態か退屈状態か判断できない状態），退屈状態（話者の方を向いていない、話を聞こうとしていない姿勢であり，そして学習集団との相関を持っていない状態）のいずれかに判別する。
しかしながら、映像解析の処理では多大なデータ量を発生するため、工学的に判別処理を効率化する必要があり、本研究では、聴講者の動作譜を入力し、機械学習によって特徴量を抽出する convolutional neural networks(CNN)を用い、聴講者の集中度を推定するシステムを提案する予定である。
|
| Causes of Carryover |
COVID-19の影響により活動ができず、次年度使用額が発生した。昨年度に実施できなかった活動（学会参加、現地調査なお）を行う予定である。
|
