| 研究課題/領域番号 |
15K01028
|
|---|
| 研究機関 | 高知大学 |
|---|
研究代表者 |
森 雄一郎 高知大学, 教育研究部自然科学系理学部門, 准教授 (50274361)
|
|---|
| 研究分担者 |
豊永 昌彦 高知大学, 教育研究部自然科学系理学部門, 教授 (40346705)
|
|---|
| 研究期間 (年度) |
2015-04-01 – 2018-03-31
|
| キーワード | 手話 / トレーニングマシン / 学習支援 / トレーニングマシン |
|---|
| 研究実績の概要 |
本研究は，聴覚障害者の社会参加を容易にする為に，聴覚障害者のみならず健聴者も対象とした手話学習システムの実用化を目指し，独自の手話入力デバイスを用いることで手話の動作情報を正確に捉え，手話動作をリアルタイムに理解・判定・評価する手話訓練システムを研究・開発してきた．先行研究では231語が学習可能な試作システムを完成させ，本研究では，自らの先行研究で確立したハードウェア的要素を更に洗練させ，自然言語解析技術の導入による手話認識の高度化と，本格的な学習支援機能の実装を行い，更に実用会話に必要な単語数2,000語の実装を目標として，システムの実用化を進めている．
H27年度は本システムの基礎部分の強化と位置付け，次の3点について重点的に進めてきた．単語数の拡張，判定部の改良，デバイス問題の解決である．
まずデバイスについては新型の深度センサ(KINECT2)の導入を行い，デバイスにおける深度情報精度，手や腕が交差した場合に発生する骨格情報の欠落頻度，これらにおいて旧デバイスより確実な精度向上や改善が確認できた．そして単語数増加を進める為に基本動作パターンの見直しを，手話動作データベースの大規模化に対応すべく検討をおこなった．更に大規模実験や評価実験に備え，手話入力用のデータグローブの改良と製作を進めた．
H28年度は前年度に行った新デバイス（Kinect2）への換装をベースにし，単語数増加を進める為に，基本動作パターンを見直し，また個人差への対応を行った．また，手話動作データベースの大規模化に対応すべく問題点の洗い出しをおこない，必要となる判別性能の高精度化とトレーニングの高品質化に向けて，当初の計画には無かったが手話の回転動作取得のためのセンサデバイスの追加と，プロトタイプではあるが手話動作時の表情判別機能についても実装実験を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
先述の通り，本研究は次の3点について重点的に進めてきた．一つは，単語数の拡張（登録プログラムの完成，1,000単語のデータベース化）．二つ目は，判定部の改良（基本動作パターンの抽出，判定部への適用）．三つ目は，デバイス問題の解決（RGB画像による欠落情報の補完，KINECT2の適用）である．一番の目標である単語数の拡充は現在のところ遅れており，当初予定の1,000語に到達していない．その理由は個人差が判定精度に影響してしまった事である．この問題に関しては，H28年度にデータベース部や判定部を大幅に改修，ファジィ理論を導入し動作の定義と個人差への対応を行った．結果として単語数増加に対し精度低下は大幅に改善し，増加作業を可能とした．また，判定時に評価する動作パラメータの一つとして手の回転動を導入し，その取得のためのデータグローブにセンサデバイスの追加を行い，現在これを含めた評価実験も行い実装を検討している．また，トレーニングの高品質化に向けて，プロトタイプではあるが手話動作時の表情判別機能についても評価実験を進めている．
|
| 今後の研究の推進方策 |
実用的な単語数の確保と同時にトレーニングシステム自体の高精度化・高品質化を達成しなければいけない．最終年度に向けて，単語数拡充の為の基本内部システムの本質的な改良をH28年度まで行ってきた．今後はそれらをベースに単語数の拡充を第一に進める予定である．具体的には，当初予定は2,000語であったが，残る期間でそれの達成を進めると作業に無理が発生する可能性が高く，単語数のみをいたずらに増やしても精度や品質が伴わなければ意味が無い．最終目標を1,000語に縮小し慎重に作業を行う事とし，その個数でも充分使用に耐える精度の確保の実現に向け作業を進める．更に先にも述べたが，高精度化・高品質化の為に検討している回転動作および手話時の表情についても，その可能性について評価・実装をあわせて進め，今後の研究に繋げていく予定である．
|
| 次年度使用額が生じた理由 |
実用化に向けての登録単語数増加に向け基礎部分の拡張を中心に行ったため，結果として登録単語数の拡充作業に遅れが出た．結果として進捗状況に遅れが出た為，その成果の発表用に用意していた出張関連旅費が未使用になったため繰越金が生じた．
|
| 次年度使用額の使用計画 |
本年度は研究の目標を再調整し実情に合ったものとして研究を進め，繰越金も学会発表にいくことにより旅費として消化する予定である．（詳細は「研究の進捗状況」「今後の研究の推進方策」等を参照）
|
