2011 Fiscal Year Annual Research Report
形状相関マップによるビジュアルフィードバックを用いた指文字発話練習システムの開発
| Project/Area Number |
22300195
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
福井 和広 筑波大学, システム情報系, 准教授 (40375423)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡崎 彰夫 筑波技術大学, 産業技術学部, 教授 (20516679)
加藤 伸子 筑波技術大学, 産業技術学部, 准教授 (90279555)
|
|---|
| Keywords | 医療・福祉 / 画像，文章，音声等認識 / 感性情報学 / 情報システム / 指文字 |
|---|
| Research Abstract |
本研究の目的は,手話学習者にとって必須である74種類の指文字を効率良く自主学習できる指文字発話練習システムを開発することにある.指文字には手形状の表裏の違いなど初学者が間違いやすい形状が多く,アニメーションなどを見るだけの一方向型の学習では自己取得が難しい.そこで本研究では学習者が提示した指文字と模範指文字との3次元形状の類似度をパターン認識で測り,その類似関係を形状相関マップと名付けた3次元グラフによりアルタイム表示する.学習者はこのマップを見ながら,提示した指文字が正しいか,どの指文字と混同され易いかを,直感的かつ大局的に把握でき,それに応じて指形状を適切に修正できるようになる.
上記目的を実現するために本年度は以下の項目について研究開発を実施した.
(1)識別エンジンとして使用しているカーネル直交相互部分空間法の高速化およびアルゴリズム拡張を行った.
(2)通常カメラを,距離画像を取得できるKinectセンサーに置き換えた場合の性能評価を行った.その結果,Kinectを使うことで,背景に依存せずに安定して手領域を抽出できること,また3次元情報を含んだ多視点距離画像を入力とすることで指形状の識別精度がさらに向上することを確認した.
(3)形状相関マップを,各指文字に対応する部分空間同士の成す正準角を距離とする多次元尺度法と,自己組織化マップ(SOM)のそれぞれで作成し,両者の性能を可読性の観点から定性評価した.その結果,両者とも単純な類似度棒グラフよりも優れているが,多次元尺度法による表示がより有効であることが分かった.
(4)CGモデルにより生成した合成多視点画像を学習データとする新しいシステム学習法を考案し,その有効性を実験により確認した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
基盤システムの大規模人数での評価実施はやや遅れているが,それ以外の項目については当初の計画に沿って進展している.
|
| Strategy for Future Research Activity |
当初の計画では,入力デバイスとして通常カメラを使うことを想定していたが,本年度,通常画像と距離画像が同時に取得できるKinectセンサーが安価で入手できるようになり,その有効性が確認できたために,来年度は,基盤システムにおける複数の通常カメラを1台のKinectセンサーに置き換える.距離画像は濃淡画像を見なすことができるので,これまで開発してきた相互部分空間法による識別はほぼ変更無しでそのまま適用できる.豊富な3次元情報を含む多視点距離画像を入力とすることで,実用的な練習システムが構築できると期待される,
|
