2012 Fiscal Year Annual Research Report
形状相関マップによるビジュアルフィードバックを用いた指文字発話練習システムの開発
| Project/Area Number |
22300195
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
福井 和広 筑波大学, システム情報系, 教授 (40375423)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡崎 彰夫 筑波技術大学, 産業技術学部, 教授 (20516679)
加藤 伸子 筑波技術大学, 産業技術学部, 教授 (90279555)
|
|---|
| Project Period (FY) |
2010-04-01 – 2013-03-31
|
| Keywords | 指文字 / 手話認識 / 手形状 / 多視点画像 / 物体認識システム |
|---|
| Research Abstract |
本研究課題では，学習者が提示した指文字と模範指文字との３次元形状の類似度をリアルタイム表示する形状相関マップを開発する．次にこの形状相関マップを用いて，提示した指文字が正しいか，どの指文字と混同され易いかを，学習者自身が直感的かつ大局的に把握できる指文字発話練習システムを試作する．本年度は以下の研究成果を得た．(1)カーネル直交相互部分空間法の計算量を，k-meansクラスタリングを用いて大幅に削減し，手形状認識の処理速度を約10倍高速化することに成功した．(2)50名から収集した30種類の指形状に対してカーネル直交相互部分空間法を適用して，95.3%の識別率を得た．(3)距離センサー(Kinect(マイロソフト社)，DS325 (Softkinect社)を入力デバイスとして，リアルタイム指文字練習システムを試作し，使用者本人の手形状を学習した場合には，基本となる41種類の指形状をほぼ100%で識別できることを確認した．また初学者が間違えやすい指形状を検知して，それに応じたメッセージを出す機能を試作し，その有効性を確認した．(4)多次元尺度法を用いて形状相関マップを構築し，これを用いたリアルタイムのフィードバック表示機能を試作し，その有効性を6種類の類似指文字を用いた動作検証により確認した．(5)階層的クラスタリングを用いて，41種類の３次元指形状のデンドログラムを生成し，これを分析することで正準角を用いた指文字の形状類似度が人間の直感とほぼ合致していることを確認した．
|
| Current Status of Research Progress |
Reason
24年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
24年度が最終年度であるため、記入しない。
|
