2015 Fiscal Year Research-status Report
360度カメラを用いた聴覚障害学生のアクティブラーニング参加支援システムの開発
| Project/Area Number |
26350300
|
|---|
| Research Institution | Kinjo College |
|---|
Principal Investigator |
瀬戸 就一 金城大学短期大学部, その他部局等, 教授 (90196973)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | アクティブラーニング / 発話検出 / 聴覚障害学生 |
|---|
| Outline of Annual Research Achievements |
平成27年度はリアルタイムで動画像での口元を検出し、話者を特定するシステム開発を行った。昨年度に実施できなかった聴覚障害学生のアンケート結果を基に、システムのインタフェース部分を検討した。話者の検出においては3種類の方法によって口元画像から話者の検出結果を比較した。RGB平均では、おしゃべりしている動画の口内画素は歯の白さが影響し、明るい値となった。また、口を閉じている動画でもRGB平均値が一定でないのはOpenCVの顔認識結果が毎回異なった値を検知するためである。画素の値の標準偏差ではほとんど口元の動きを認識することができなかった。これはRGBの色の変化はあっても画素の色のばらつきは無かったと言える。一方、慣性モーメントを使用した結果では、明らかに口の動きを確認できた。我々はRGB平均と慣性モーメントの認識技術を併用することで話者の決定が有効になることが分かった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成27年度の実施予定であったリアルタイム処理、話者の特定を行うシステム構築は試作が完成している。アクティブラーニングに参加している学生には、口を大きく開けてゆっくりと一言ずつ発言してもらうように事前に依頼をしてから実験を行っている。実験結果は国内発表1回、国際学会1回の発表を行った。
|
| Strategy for Future Research Activity |
平成27年度では聴覚障害者は読話ができるものとして、人物の口元の画像追跡を行っているが、今後の課題としては以下のことを計画している。
1)聴覚障害学生がグループ討論の授業に入るため、支援者なしでも利用可能な使いやすいシステムを検討する。
2)読話できない人への対応も考慮する必要がある。
本研究では、安価で手軽な装置と開発環境から動画像による話者の特定を試みた。またそのシステムは、大掛かりな装置ではなく、カメラ1台とPC1台であり、どの教室へも持ち歩き、設置できるものとした。我々は聴覚障害学生がリアルタイムに授業の雰囲気を感じることができ、大学の講義の理解力が向上する受講支援システムの構築を目指している。
|
| Causes of Carryover |
平成26年度に高性能なワークステーションを購入したため、予定していた高速演算ボードを未購入のままワークステーションを稼働させており、平成27年度の繰り越しを行った。また、平成28年度に購入予定のHMDの新製品が発売されたため、次年度購入予定のHMDを購入したことが大きな理由である。
|
| Expenditure Plan for Carryover Budget |
平成28年度は高速演算ボードを購入し、新システムを構築する。また、２台購入予定のHMDを事前に１台購入済なので、安価な比較対象用のHMDをもう１台購入し比較検討を行う予定である。
|
Research Products
(2 results)
