2008 Fiscal Year Annual Research Report
Webカメラ入力を用いた日本手話-日本語電子辞書のユーザーインターフェースの開発
| Project/Area Number |
18500100
|
|---|
| Research Institution | Toyota National College of Technology |
|---|
Principal Investigator |
木村 勉 Toyota National College of Technology, 情報工学科, 講師 (80225044)
|
|---|
| Keywords | 手話 / 辞書 / 腕の動き / 認識 / Webカメラ / データベース |
|---|
| Research Abstract |
20年度は,腕の動き認識とデータベース(日本手話・日本語辞書システム)の研究を中心に行った.
本研究では,腕の動きを以下の手順で認識する.1) Webカメラの動画像から肌色を認識する.肌色は両腕と顔があるが,初期位置によって腕だけを認識する.2)画面を領域分割し,どの領域に腕が移動したか検知して動きを認識する.腕の追跡には,CamShift法による色情報追跡アルゴリズムを用いた.CamShift法では,画像フレーム中で追跡対象の色相値のヒストグラムに一番近い領域にシフトし続けることにより,色情報が動的に変化する動画像に対しての追跡を実現した手法である.また,Webカメラから得られる画像をいくつかの領域に分割しておき,時間毎にどの領域に腕があるかを記録しておく.その結果から腕が動く方向を認識する.
これと並行して,約3,000語の手話を音素(手型,位置,動きなど)に分解し,データベースを設計した.さらにこのデータベースを管理するシステムとして日本手話・日本語辞書システムを開発した.データベースはマイクロソフト社のAccess形式で構成されており,管理およびGUIはマイクロソフト社のVisual Basicで設計した.データベースとの接続にはADO.NETを用いている.
このシステムを用いて手話単語検索を行った場合,書籍の手話・日本語辞書に比較して,平均で半分程度の時間で検索ができることが確認できた.
現在は,これまでの研究成果である手型認識と,上記の腕の動き認識の結果を,辞書システムに渡す仕組みを設計している.
|
