2016 Fiscal Year Annual Research Report
Support system of active learning for hearing impaired student by using 360 degree camera
| Project/Area Number |
26350300
|
|---|
| Research Institution | Kinjo College |
|---|
Principal Investigator |
瀬戸 就一 金城大学短期大学部, その他部局等, 教授 (90196973)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | アクティブラーニング / 発話検出 / 聴覚障害学生 |
|---|
| Outline of Annual Research Achievements |
本研究はグループ討論を行っている聴覚障害学生支援システムの構築である。聴覚障害学生のために円座で座っている学生の顔を切り出し、口元画像から話者の検出を試みた。
平成28年度は聴覚障害学生が透過型HMD（ヘッドマウントディスプレイ）を装着していると想定し、透過型HMD内には発話者と口元を表示する新システムを構築した。
発話実験では、被験者4名、300万画素、最大15fpsの360度カメラを用いて、「私の名前は、○○と言います。」という具合に自己紹介を順番に行った。発話においては被験者に予め、ゆっくりと大きな口を開けて話しをするように依頼してあり、途中で笑わないように指示した。
実験結果は①RGB平均の方法は発話している時に正しく発話していると認識できた確率が8.0％で、発話していない時に発話したと誤認識した確率は1.2％だった。また、②慣性モーメントによる方法では発話している時に正しく発話していると認識できた確率が28.6％で、発話していない時に発話したと誤認識した確率は16.5％だった。まだまだ認識率が低いのは被験者が大きな口を開けてしゃべらなかったり、笑いやうなずき等が多いと誤認識が多いということが分かった。
しかしながら、聴覚障害学生は透過型HMDを通してアクティブラーニングの授業に参加することが可能になり、発話者の識別に有効であることが分かった。今後は長時間の装着にも違和感がなく使用できるHMDを検討したり、音声認識による自然言語解析も同時に検討する必要性がある。
|
