研究課題/領域番号 |
26350300
|
研究機関 | 金城大学短期大学部 |
研究代表者 |
瀬戸 就一 金城大学短期大学部, その他部局等, 教授 (90196973)
|
研究期間 (年度) |
2014-04-01 – 2017-03-31
|
キーワード | アクティブラーニング / 発話検出 / 聴覚障害学生 |
研究実績の概要 |
平成27年度はリアルタイムで動画像での口元を検出し、話者を特定するシステム開発を行った。昨年度に実施できなかった聴覚障害学生のアンケート結果を基に、システムのインタフェース部分を検討した。話者の検出においては3種類の方法によって口元画像から話者の検出結果を比較した。RGB平均では、おしゃべりしている動画の口内画素は歯の白さが影響し、明るい値となった。また、口を閉じている動画でもRGB平均値が一定でないのはOpenCVの顔認識結果が毎回異なった値を検知するためである。画素の値の標準偏差ではほとんど口元の動きを認識することができなかった。これはRGBの色の変化はあっても画素の色のばらつきは無かったと言える。一方、慣性モーメントを使用した結果では、明らかに口の動きを確認できた。我々はRGB平均と慣性モーメントの認識技術を併用することで話者の決定が有効になることが分かった。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
平成27年度の実施予定であったリアルタイム処理、話者の特定を行うシステム構築は試作が完成している。アクティブラーニングに参加している学生には、口を大きく開けてゆっくりと一言ずつ発言してもらうように事前に依頼をしてから実験を行っている。実験結果は国内発表1回、国際学会1回の発表を行った。
|
今後の研究の推進方策 |
平成27年度では聴覚障害者は読話ができるものとして、人物の口元の画像追跡を行っているが、今後の課題としては以下のことを計画している。 1)聴覚障害学生がグループ討論の授業に入るため、支援者なしでも利用可能な使いやすいシステムを検討する。 2)読話できない人への対応も考慮する必要がある。 本研究では、安価で手軽な装置と開発環境から動画像による話者の特定を試みた。またそのシステムは、大掛かりな装置ではなく、カメラ1台とPC1台であり、どの教室へも持ち歩き、設置できるものとした。我々は聴覚障害学生がリアルタイムに授業の雰囲気を感じることができ、大学の講義の理解力が向上する受講支援システムの構築を目指している。
|
次年度使用額が生じた理由 |
平成26年度に高性能なワークステーションを購入したため、予定していた高速演算ボードを未購入のままワークステーションを稼働させており、平成27年度の繰り越しを行った。また、平成28年度に購入予定のHMDの新製品が発売されたため、次年度購入予定のHMDを購入したことが大きな理由である。
|
次年度使用額の使用計画 |
平成28年度は高速演算ボードを購入し、新システムを構築する。また、2台購入予定のHMDを事前に1台購入済なので、安価な比較対象用のHMDをもう1台購入し比較検討を行う予定である。
|