2010 Fiscal Year Annual Research Report
形状相関マップによるビジュアルフィードバックを用いた指文字発話練習システムの開発
| Project/Area Number |
22300195
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
福井 和広 筑波大学, 大学院・システム情報工学研究科, 准教授 (40375423)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡崎 彰夫 筑波技術大学, 産業技術学部, 教授 (20516679)
加藤 伸子 筑波技術大学, 産業技術学部, 准教授 (90279555)
|
|---|
| Keywords | 医療・福祉 / 画像,文章,音声等認識 / 感性情報学 / 情報システム / 指文字 |
|---|
| Research Abstract |
本研究の目的は,学習者が提示した指文字と74種類の模範指文字との3次元形状の類似度をパターン認識で測り,その類似関係を3次元の形状相関マップとしてリアルタイム表示する.そして,この形状マップを用いて,提示した指文字が正しいか,どの指文字と混同され易いかを,学習者自身が直感的かつ大局的に把握でき,それに応じて指形状を適切に修正できる指文字発話練習システムを開発することにある.H22年度は特定人物が提示する指文字(30種類)を識別対象として,次に示す研究項目について研究開発を進めた.研究項目(1)識別アルゴリズム:動きを伴った手形状識別,背景に影響されない識別の基盤となる非線形直交相互部分空間法(KOMSMS)の識別性能を,直交化における正則化項の導入,およびk-meansクラスタリングによる辞書生成法の改良により,向上させた.研究項目(2)形状相関マップ生成:多様な指文字の多視点画像を収集し,これらに対して,主成分分析,多次元尺度法を適用して簡易3次元形状相関マップを作成した.さらに,これを研究項目(3)の成果である評価システムに組み込み,リアルタイム表示させることができた.これにより,効果的なビジュアルフィードバックを生じさせる形状相関マップの生成に向けた基盤が整備された.研究項目(3)評価システム試作・評価:研究項目(1)(2)で開発した要素機能を組み込んだ評価基盤システムを試作し,当該システムの基本動作を,システム学習,処理速度(応答性),インタフェースの操作感の観点から検証した.辞書登録に関するインタフェース,形状相関マップの表示法,処理速度,3台のカメラ配置レイアウトに改善すべき課題があることが分かった.
|
