2014 Fiscal Year Research-status Report
360度カメラを用いた聴覚障害学生のアクティブラーニング参加支援システムの開発
| Project/Area Number |
26350300
|
|---|
| Research Institution | Kinjo College |
|---|
Principal Investigator |
瀬戸 就一 金城大学短期大学部, その他部局等, 教授 (90196973)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 聴覚障害学生 / アクティブラーニング / 支援システム / パノラマカメラ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、読唇可能な聴覚障害学生（ろう学生）を支援者なしでアクティブラーニングの授業に参加させることである。この研究目標は、まず、ろう学生をグループディスカッションに参加させることとする。そのために、我々は360 度視野のパノラマカメラを利用する。このパノラマカメラはテーブルの中央に置き、画像処理によりテーブルの周りに座った学生全員の顔を切り出し、リアルタイムで話者を検出し、口元を拡大表示する。本システムは、カメラとパソコン１台で構成するシステムである。軽くて小さな構成のために、どの教室にでも持参でき、ろう学生は支援者なしで授業に参加することができる。
平成26年度には、パノラマカメラを用いて顔認識と口元認識の実験を行った。顔認識はＵＳＢ接続されたパノラマカメラから取り込んだ静止画周縁部の歪み補正を行い、その後、OpenCVの顔認識アルゴリズムによって行った。
まず、顔認識はカメラに向かって正面を向いている必要があるものの複数人でもほぼ確実に顔を検知できた。実験は瀬戸が中心で、連携研究者の下村・川邊・南保と学生４人の協力で行った。
次に口元認識では口元を検出するために２つの方法を比較した。１）顔認識された領域の画像範囲からもう一度口元を検出する方法と、２）顔領域の画像から高さ1/4と顔の横幅1/2の中央部分を強制的に口元画像とする方法である。その結果、１）はOpenCVの口元認識の精度が低いため、たびたび口元を検出することができないことが分かった。よって、我々は顔認識の領域から効率よく口元を検出するために２）の方法を採用した。
今回の実験では口元画像の明るさのRGB平均の変化量を求めることで、話をしている口元と、そうではない口元（例えば、あくびをした口元など）との違いを明確にすることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２６年度の実施予定であった顔認識と口元認識の実験を行った。聴覚障害学生のアンケート調査が実施できなかったが、学生の協力によって聴覚障害学生の代わりとなり、多くの実験をすることができた。
ただし、パノラマカメラの性能によって顔認識の精度にバラつきが発生したため、安価で高性能なパノラマカメラをもう１台購入し、比較検討することとした。
今回、ワークステーションPCとして、ノートパソコンで一番高性能なワークステーションを購入したため、予定していた演算プロセッサを購入しなかった分、今年度の予算を消化することができなかった。
|
| Strategy for Future Research Activity |
平成２６年度にできなかったことは、聴覚障害学生のアンケート調査である。平成２７年度にはアンケート調査を基に支援システムの構築を行う。また、ノートパソコンを購入し、本格的にパノラマカメラを用いて動画を取り、話者認識可能な支援システムを開発する。
瀬戸は動画像の実験を行い、システム開発を担当する。下村は聴覚障害学生のアンケート調査と評価を行う。川邊と南保はシステム構築のサポートを担当する。
話者の特定には話をしている人々だけの顔の検出や口元の検出をすることで話者認識を行う。何を話したのか認識をするのではなく、誰が話しているのか人物特定する。
我々は口唇領域の動静判定から発話を検出する方法に他の手法を併用することでより精度を向上させる。
|
| Causes of Carryover |
モバイルワークステーションの上位機種を購入することで十分サーバとして運用できることが分かったため、演算プロセッサを購入しなかった。この予算が消化できなかった理由である。
また、Windowsワークステーションとして、複数のOS（Win７とWin８.1）にも対応できるように追加の内蔵HDDを購入し、デュアルブートできるワークステーションの仕様に変更した。これによって、パノラマカメラの接続環境をいろいろと変更できるようにした。
|
| Expenditure Plan for Carryover Budget |
最終年度にはHMDによる支援システムの改良を予定している。安価なHMDを２台購入する予定となっているが、この予算を利用し、HMDを2～3台購入して比較検討を行う。
また、システム構築だけに留まらず、国内、国外にも情報発信を行い、より良いシステムとなるよう積極的に学会発表を行う。
|
