| 研究課題/領域番号 |
18K11595
|
|---|
| 研究機関 | 長野工業高等専門学校 |
|---|
研究代表者 |
藤澤 義範 長野工業高等専門学校, 電子情報工学科, 教授 (00342494)
|
|---|
| 研究分担者 |
伊藤 祥一 長野工業高等専門学校, 電子情報工学科, 准教授 (10369978)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 手話 / 指文字 / 聴覚障害 / ウェアラブルデバイス |
|---|
| 研究実績の概要 |
平成３０年度の計画で最も重要なものは手話の三次元モデルの制作と指文字の認識である．
まず，手話の三次元モデルの制作については，体全身の三次元モデルを購入し，そのモデルにボーンと呼ばれる骨格のようなものを挿入し，ボーンに動きを付けることで，手話の動作をさせる．そのため，モデリング用のソフトウェアを使い，三次元モデルに動作を付ける．動作のデータは，体にセンサを装着するタイプのモーションキャプチャ装置を使って，動作データをパソコン内に取り込む．それを三次元モデルに適応することで，動きのある三次元モデルができあがる．いくつかの問題点も見つかったが大まかな制作の方法が確立できた．ただし，手話の場合，指文字と違い，手だけでなく，指や腕，口や目なども使い体全身で表現するため，モーションキャプチャで取り込めないデータもあり，顔の表情などは，別途開発方法の検討が必要である．
次に，指文字の認識については，画像認識用の機能ライブラリを使い，認識したい物体を機械学習により学習させ，実際に認識の実験を行った．得られた成果としては，正解画像と不正解画像の学習枚数の割合が認識率を大きく左右することと，背景画像がご認識の原因であることも確認できた．我々が目標としているのは，指文字の認識である．指文字を認識させる場合の問題は，背景画像であると考えており，色のついた手袋等で背景とは明らかに違う色を認識させるなどの工夫が必要であると考えている．
平成３０年度は，本研究に関する学会発表として１件の実績がある．他に，使用しているデバイスに関する展示会で指文字学習について展示し，多くの来場者に試用してもらった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
平成３０年度は研究計画に基づき，手話の三次元モデルの制作を行い，その制作手順等について確認できた．また，指文字の認識については，機械学習の実験を行い，物体認識の手法や問題点などについて確認できた．
|
| 今後の研究の推進方策 |
平成３１年度は，手話の三次元モデルの制作を簡便に行う手法について検討し，より多くの手話モデルの制作を行う．指文字の認識については，予備実験で得た成果を元に，実際の指文字認識を行い，その結果から今後の方針などを検討する．
|
| 次年度使用額が生じた理由 |
現在使用しているウェアラブルデバイスの後継機が次年度に発売される予定であり，今年度デバイスを増やすのは得策でないと考えた．また，謝金等については，現状で実際の聴覚障害者や手話通訳者に評価をしてもらう段階ではないため，未執行となった．次年度以降にコンテンツの評価等のタイミングで謝金については執行する予定である．
|
