Web カメラとタブレッ トを利用した手話学習 支援システムの開発

2015 Fiscal Year Research-status Report

• Project/Area Number: 15K12167
• Research Institution: University of Toyama
• Principal Investigator: 上山 輝 富山大学, 人間発達科学部, 教授 (90334705)
• Project Period (FY): 2015-04-01 – 2018-03-31
• Keywords: 手話 / 映像教材 / Webアプリケーション

Outline of Annual Research Achievements

平成27年度はMySQL,PHP,Flash等によるシステム開発と大学生活及び聴覚特別支援学校における状況を意識した映像コンテンツの制作を並行して行う．コンテンツを実際に使用してもらう対象として初期段階では大学生を想定し，大学生活において現実感のある会話をベースにシナリオを作り，ハイスピード撮影が可能なカメラを用いて撮影を行った．
撮影された映像を大学院生２名の協力を得てAppleFinalCutProを用いて編集し，手の動作に合わせて字幕を付け，動作と字幕のスピードが一致するように調節した．字幕との連動を考えた場合，サンプル映像は全て事前に制作した映像を用いて正像／鏡像を切り替え、Webカメラのリアルタイム映像は，プログラムによって正像／鏡像を変換することとし，これを開発した．
メディアサーバ上で，学習コンテンツが機能するよう，基本的なログイン機能と学習履歴を実装した。実際に支援学校においてプロトタイプを見てもらったところ，教材としては適切だが，日本手話をメインで用いている人には通じにくい日本語対応手話であることが判明したため，日本手話で撮影し直したものを用いてコンテンツを修正したものの，今度は手話を学習するろう者にとってはキュードスピーチ等との関係から日本語対応手話も重要であるとのコメントをいただいたため、両者をシステム上で、必要に応じて分けて学習できるようにする方法を検討することになった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

映像ソースが日本手話と日本語対応手話の２つのベースで必要になったことから，進捗状況としては，やや遅れているものと判断している．しかしながら，研究全体として新たな質のものが追加されたわけではなく、同質のコンテンツを２パターン用意する程度であるため、特に今後の進捗に今まで以上の遅れは発生しないものと考えられる。タブレット用の映像についても、これまでの映像を精査してデータベース化する作業までは至っていないが、映像にアクセスするところまでは可能となっている．

Strategy for Future Research Activity

今後は，やや遅れた部分については通常の研究作業において修正可能であることから，そのまま研究を推進するものとする．また，定着度を測る仕組みを実装し，その効果を確認することを今年度の開発の主目的とする．映像撮影については、引き続きコンテンツの追加及び，日本手話，日本語対応手話の両者の学習コンテンツを利用できるようにする．タブレットにおけるリファレンス機能については、単語レベルでは共通する部分が多いため，コンテンツの増加は想定する必要はないと考えられる．

Causes of Carryover

撮影に関する日程が十分取れなかったため，謝金の支払いにおいて次年度使用額が生じた。

Expenditure Plan for Carryover Budget

撮影スケジュールを調整し，改めて依頼をする．当初より実際にかかる金額として想定していることから，謝金として使用する．