2018 Fiscal Year Research-status Report
Improvement of Personal Concentration Estimation by Image Analysis
| Project/Area Number |
18K02901
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 琉球大学, 教育学研究科, 教授 (70336353)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 集中度 / 教育工学 / DCNN |
|---|
| Outline of Annual Research Achievements |
本研究では情報処理技術を導入し、学習時の姿勢や動きの度合いを時系列に数値化した動作譜を生成し、授業時間の経過に置ける集中度の変異を客観的に評価するための指標作成や測定手法の提案を目指している。映像から検出された顔の向き判断は集中度をはかるうえで重要な処理の１つである。そのため、交点を連結基準として用いる新しいbottom-up階層的クラスタリングアルゴリズムを提案した。データポイントの最近傍のどれも見逃すことができないので、このアプローチはより正確なクラスタリング結果を提供する。同様に、各段階で3つ以上のクラスターを組み合わせることで、クラスター化手順を減らします。一方、他のよく知られているボトムアップ階層的方法（単一、平均、完全、重心および病棟連鎖）は各段階で２つのクラスターのみを組み合わせる。
このアルゴリズムは、各データ点の最近傍点を見つけてペアを作成し、次にペア間の交点を見つけて1次クラスターを形成する。ペア間の交点を見つけることによって、各段階で、すべての最も近いデータポイントを同じクラスターに入れることができる。したがって、2つ以上のペアまたはクラスタを1つの手順でマージできる。その間、最近傍の数を決定する必要がないので、データポイントの最近傍のいずれも見逃されることはない。したがって、クラスタ内のクラスタ内の類似性またはクラスタのコンパクト性が高まり、交差点が増えると、クラスタリング結果が向上する。実験結果は、交点を用いた新しいクラスタリングアルゴリズムが、ほとんどの場合、特に相関の高いデータセットの場合に他のクラスタリング方法よりも優れており、より正確なクラスタリング結果を提供することを証明している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず、実験データを確保するため、教室前方の一箇所にデジダルカメラを設置し、大学生と小学生を対象に、各々、授業風景の撮影を１回ずつ行った。そして、その映像データから人物を検出し、検出された人物一人一人に対し顔向きの推定を行なった。
具体的には入力映像を一定時間毎に量子化を行い映像のフレーム数を減らし、Haar-like 特徴量を抽出した。そして、カスケード型 AdaBoost 識別器に入力し、映像から生徒一人一人を検出する処理を行なった。また、DCNN(Deep Convolutional Neural Network)を用いて、人物の顔を６つの向き(左、右、上、下、正面、その他)にラベリング(それぞれ、5、4、3、2、1、0の値を与え)行い、時系列の離散信号(動作譜)を生成した。このDCNNの構成は入力層、C1層、C2層、C3層、出力層の 5 層構造であり、C1層、C2層、C3層はそれぞれConvolution、Max Pooling、Local Contrast Normalizationという3種類の中間層を挿入している。
なお、本研究において、推定した集中度の精度をはかるため、大学生を対象にした授業ではスライドの中に予めいくつかのキーワードを挿入しておき、そのキーワードを認識しているかしてないかを判断基準として用いた。一方、小学生をに対しては、授業担当の教師と2人の共同研究者とともに、授業風景の映像データを見ながら、主観的であるが集中度のパターンを定義した。この定義に基づき、生徒の集中度を推定した。最後に、本研究のDCNNにより得られた結果と実際授業担当の教師らによって得られた結果に対し、定量的に実験を行い検証した。
|
| Strategy for Future Research Activity |
今回の実験では時間によっては人検出部で取得することができなかった画像もあり、その時間の集中度 状態は把握することができない。また、マスクを着用している生徒に対しては、人検出部では問題なく検出することができたが、CNNで特徴を抽出する際顔向きの特徴よりもマスクをつけているという状態を強い特徴とされることが多く、分類精度の低下を引き起こしていた。
大学生を対象した授業風景では、学生さんがビデオ映像を見ている状態であるため、学生さんの動きが少なく「前を向いているかそれ以外の姿勢か」という単純な推定しか行うことができなかった。動きが多い授業風景であれば生徒たちの集中度の度合いを 2パターンではなく、さらに詳しく見ることができたと考えられる。また、教室前方のスクリーンで映像を流していたため教室前方が暗く生徒の顔が確認しづらい問題も発生した。そのため、授業環境(特に明るさ)を考慮したカメラの最適設置が不可欠である。
そして集中度のパターンと相関関係を総合し、①集中状態(話者の方を向き、話を聞こうとしている姿勢であり、そして学習集団との相関を持っている状態)、②曖昧状態(集中状態か退屈状態か判断できない状態)、③退屈状態(話者の方を向いていない、話を聞こうとしていない姿勢であり、そして学習集団 の相関を持っていない状態)のいずれかに判別する予定である。さらに各動作譜から相関関係を求め、最終的に3つの状態を識別する際に利用しているが、どのようにその閾値を設定するべきか?その設定方法と閾値の有効性を明らかにする。
|
| Causes of Carryover |
当初、画像処理専用として、デスクトップの一般的なコンピュータを購入する予定をしておりました。しかしながら、本研究では人工知能技術の一つであるDCNNを導入しており、当初の想定より学習時間と計算コストが多くなり、人工知能の深層機械学習に対応可能な高性能のコンピュータが必要であります。このようなコンピュータは高額であり、当該年度の予算のみで購入するのは難しい状況であります。そのため、当該助成金の物品購入費を繰越し、翌年度の物品購入費に加算し、高性能のデスクトップを購入する予定であります。
|
