2015 Fiscal Year Research-status Report
| Project/Area Number |
15K01028
|
|---|
| Research Institution | Kochi University |
|---|
Principal Investigator |
森 雄一郎 高知大学, 教育研究部自然科学系理学部門, 准教授 (50274361)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
豊永 昌彦 高知大学, 教育研究部自然科学系理学部門, 教授 (40346705)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 手話 / トレーニングマシン / 学習支援 / Kinect |
|---|
| Outline of Annual Research Achievements |
本研究は，聴覚障害者の社会参加を容易にする為に，聴覚障害者のみならず健聴者も対象とした手話学習システムの実用化を目指し，独自の手話入力デバイスを用いることで手話の動作情報を正確に捉え，手話動作をリアルタイムに理解・判定・評価する手話訓練システムを研究・開発してきた．先行研究では231語が学習可能な試作システムを完成させ，本研究では，自らの先行研究で確立したハードウェア的要素を更に洗練させ，自然言語解析技術の導入による手話認識の高度化と，本格的な学習支援機能の実装を行い，更に実用会話に必要な単語数2,000語の実装を目標として，システムの実用化を進めている．
H27年度は本システムの基礎部分の強化と位置付け，次の3点について重点的に進めてきた．一つは，単語数の拡張（登録プログラムの完成，1,000単語のデータベース化）．二つ目は，判定部の改良（基本動作パターンの抽出，判定部への適用）．三つ目は，デバイス問題の解決（RGB画像による欠落情報の補完，KINECT2の適用）である．
研究実績としては，まず三つめのデバイスに関係するものであり，新型の深度センサ(KINECT2)の導入を行い，新型のデバイスにおける深度情報精度，手や腕が交差した場合に発生する骨格情報の欠落頻度，これらにおいて旧デバイスより確実な精度向上や改善が確認でき，旧デバイスからの換装作業を行い実装を行った．現在この装置を元に進めており，一つ目の単語数増加を進める為に，二つ目の基本動作パターンの見直しを，手話動作データベースの大規模化に対応すべく検討しているところである．更に大規模実験や評価実験に備え，手話入力用のデータグローブの改良と製作を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
先述の通り，本研究は次の3点について重点的に進めてきた．一つは，単語数の拡張（登録プログラムの完成，1,000単語のデータベース化）．二つ目は，判定部の改良（基本動作パターンの抽出，判定部への適用）．三つ目は，デバイス問題の解決（RGB画像による欠落情報の補完，KINECT2の適用）である．一番の目標である一つ目の単語数の拡充を進めるためには（そのデータベース構築を進めるためには），判定部の基本動作パターンの見直しを，手話動作データベースの大規模化に対応すべく検討する必要があり，ここの出来如何によってシステムの性能が決定される．従って，現在，この基本動作パターンの設定・検討を慎重に進めているところであり，その後に控えている単語拡充作業に遅れが出ているところである．しかし，この部分が定義・実装されれば，登録・拡充の実作業は滞りなく進むものと考えている．
|
| Strategy for Future Research Activity |
単語登録や判定部（基本動作パターン）の見直しや改善・構築には，当初の予定から充分に考察する期間を設定し，本年度もその期間内にある．しかし，現在状況は決して余裕のある状況ではない．基本動作パターンの検証・確定を進めるとともに，基本動作パターンとは独立して，教師による手話の動作データベースをより生データに近い形でまず構築し，そのデータを別に定義した基本動作パターンによって再加工・再定義が，後の処理として可能なようにシステムの変更を考えている．これが実現できれば，先にデータベース用の元データの構築が可能となり，システムの定義変更にも柔軟に対応可能となる．更に当初の予定では，遅れが出た場合，単語数の縮小も視野に入れて考えているので，状況に応じ臨機応変に対応を検討したい．
|
| Causes of Carryover |
進捗状況で説明したシステム開発の遅れが原因で，手話教師による手話動作データベース構築のための動作データ取得に関わる謝金や，大規模評価実験に必要となる被験者への謝金が未使用の大きな原因である．また，それに伴い，成果発表である学会への出張も当初の予定通りには進まず，理由となっている．
|
| Expenditure Plan for Carryover Budget |
基本動作パターンの確定やそれとは切り離したデータベース構築手法を確立し，未実施となっている，手話教師による手話動作データベース構築のための動作データ取得や大規模評価実験に出来るだけ早く着手し，謝金としての利用を計画している．更に，その結果を成果発表に繋げ，学会発表への旅費として使用予定である．
|
Research Products
(1 results)
