2007 Fiscal Year Annual Research Report
Webカメラ入力を用いた日本手語-日本語電子辞書のユーザーインターフェースの開発
| Project/Area Number |
18500100
|
|---|
| Research Institution | Toyota National College of Technology |
|---|
Principal Investigator |
木村 勉 Toyota National College of Technology, 情報工学科, 講師 (80225044)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
神田 和幸 中京大学, 教養部, 教授 (70132123)
原 大介 愛知医科大学, 看護学部, 教授 (00329822)
|
|---|
| Keywords | 手話 / 辞書 / 手型 / 認識 / 音素 / データベース / ロボット / Webカメラ |
|---|
| Research Abstract |
現在,手話データベースには,手話の音素である手型や腕の動き方などについて約2600語の手話の情報が格納されている.平成19年度は主にこのデータベースの充実を行った.
まず,腕の動きに関しては,手話の動作が入力できる装置『聾bot』を開発した.これは人型のロボットで,腕を動かすとリアルタイムのその動作を記録することが出来る.これを用いてデータの収集を行う.この装置は入力だけでなく,記録した動作や2台用いて遠隔操作を行うことが出来る.これを用いれば病院でのレントゲン室など様々な場面での応用が期待される.
また,手型については左右の手型が異なる手話単語での手型についての調査を行った.日本手話のタイプIII(両手手型が異なるもの)について,手話が表出される位置と動きをそれぞれニュートラルスペースおよび下方直線運動に固定し,両手手型の組み合わせと両手の接触の有無だけを変えた約2300個の手話サンプルを作成・録画し,日本手話母語話者の評価(5段階のリカートスケール)を受けた.その結果にもとづき,両手手型の組み合わせ等を含めて語の適格性について考察する方法を示した.
さらにデータベースの管理システムを向上させるために,曖昧な認識結果でも検索が可能になるような方法を検討した.例えば手型認識の場合,伸ばしている指の数の個数程度なら,認識は用意であるが,これだけではデータベースの情報とマッチしない.そこでこのような曖昧な認識結果でも,複数の音素とマッチさせる仕組みを提案した.これはそれぞれの音素が持つ成分を分類し,その成分とマッチする音素を検索キーとして使用する方法である.欠点として,情報が少ないと検索キーとしての音素が多くなり,目的とする手話の候補数が多くなる.これを解決するためにはできるだけ多くの音素成分を入力画像から抽出する必要がある.
|
