2001 Fiscal Year Annual Research Report

時系列画像からの複数の不確実情報を用いた関節物体の形状と姿勢の実時間推定

Research Project

Project/Area Number	11555072
Research Institution	Osaka University
Principal Investigator	白井良明大阪大学, 大学院・工学研究科, 教授 (50206273)
Co-Investigator(Kenkyū-buntansha)	先山卓朗大阪大学, 大学院・工学研究科, 助手 (70335371) 島田伸敬大阪大学, 大学院・工学研究科, 助手 (10294034) 三浦純大阪大学, 大学院・工学研究科, 助教授 (90219585)
Keywords	手指姿勢 / ジェスチャ / 関節物体 / 画像計測 / 情報の不確実性 / 実時間システム / ヒューマンインターフェース
Research Abstract	前年度試作したPCクラスタを用いた実時間手指姿勢推定システムにおいて,多くのミスマッチが問題となった。原因は,モデル関節角度のサンプリング問隔が広いために,モデル画像と入力が完全には一致しないこととわかった。そこで,考えられる輪郭の違いを許容するマッチングを研究した.指先や指の間等の特徴を検出し,その対応に基づく変形を推定する.変形が微少なアフィン変換で近似できる場合は誤差を許容する.推定した変換でモデル輪郭を変形してから入力輪郭と照合する.このさい,輪郭各点において輪郭に垂直なずれの成分を評価して,それが小さいものを照合結果として出力する. このアルゴリズム変更にともなって処理量が増大したが,これを実時間で実行するために,クラスタPC台数を増強した.また任意背景での推定を可能にするため,赤外線LEDを内蔵した赤外線カメラを接続し,背景除去を行った.前年度より照合精度の高い実時間推定システムを構築できた. あらかじめ手形状の動作をいくつか入力し,遷移ネットワークを用いて可能な手形状の変化を学習する遷移ネットについての研究を進めた.今年度は任意背景で手指領域をうまく切り出すために遷移ネットワークを用いることを検討した.1つ目には,直前の手形状推定結果から,次画像において手首位置を抽出する方法や利用する情報を切り替えていく方法について研究した. もう1つは動的輪郭モデルを用いて手領域を追跡する際に,複数のダイナミクスを切り替えながら予測を行って迫跡を行うswitching linear modelを導入した.任意背景下で手指の切り出しを行いつつ,手形状推定やジェスチャの認識をオフラインでおこなった. 次に,形状識別だけではなく,ジェスチャの意味を認識する応用を念頭におき,日本式手話単語をHMMを用いて認識するシステムを試作した.体全体が入る画像解像度では,手指の詳細な輪郭を抽出することが困難であるので,入力特徴として両手の手領域の大きさ,傾き,指状突起の数,手領域の動きベクトルを用いた.動きの変化をもちいて単語の区切り候補を求め,単語認識の結果尤度の十分高くなる区切りを採用した.これにより両手を使う数十の単語を識別することができた.

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] N.Shimada, K.Kimura, Y.Shirai: "Real-time 3-D Hand Posture Estimation based on 2-D Appearance Retrieval Using Monocular Camera"Proc.Int.WS.on RATFG-RTS. 23-30 (2001)
[Publications] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Recognition Of Shape-Changing Hand Gestures Based On Switching Linear Model"Proc.of 11th Int.Conf.on Image Analysis and Processing. 14-19 (2001)
[Publications] 谷端, 島田, 白井: "手話認識のための手指抽出と単語認識"電子情報通信学会福祉情報工学研究会技術報告 WIT. 2001-22. 37-42 (2001)
[Publications] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Complex Gesture Recognition using Coupled Switching Linear Model"Proc.of Asian Conf.on Computer Vision. 132-137 (2002)
[Publications] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Recognition of Shape-Changing Hand Gestures"IEICE Transactions. (to appear). (2002)
[Publications] 浜田, 島田, 白井: "遷移ネットワークに基づく多視点画像時系列からの手指形状推定"電子情報通信学会論文誌. D-II(to appear). (2002)

2001 Fiscal Year Annual Research Report

時系列画像からの複数の不確実情報を用いた関節物体の形状と姿勢の実時間推定

Principal Investigator

白井 良明 大阪大学, 大学院・工学研究科, 教授 (50206273)

Research Products

[Publications] N.Shimada, K.Kimura, Y.Shirai: "Real-time 3-D Hand Posture Estimation based on 2-D Appearance Retrieval Using Monocular Camera"Proc.Int.WS.on RATFG-RTS. 23-30 (2001)

[Publications] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Recognition Of Shape-Changing Hand Gestures Based On Switching Linear Model"Proc.of 11th Int.Conf.on Image Analysis and Processing. 14-19 (2001)

[Publications] 谷端, 島田, 白井: "手話認識のための手指抽出と単語認識"電子情報通信学会 福祉情報工学研究会 技術報告 WIT. 2001-22. 37-42 (2001)

[Publications] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Complex Gesture Recognition using Coupled Switching Linear Model"Proc.of Asian Conf.on Computer Vision. 132-137 (2002)

[Publications] M.H.Jeong, Y.Kuno, N.Shimada, Y.Shirai: "Recognition of Shape-Changing Hand Gestures"IEICE Transactions. (to appear). (2002)

[Publications] 浜田, 島田, 白井: "遷移ネットワークに基づく多視点画像時系列からの手指形状推定"電子情報通信学会論文誌. D-II(to appear). (2002)

白井良明大阪大学, 大学院・工学研究科, 教授 (50206273)

[Publications] 谷端, 島田, 白井: "手話認識のための手指抽出と単語認識"電子情報通信学会福祉情報工学研究会技術報告 WIT. 2001-22. 37-42 (2001)