2012 Fiscal Year Research-status Report
| Project/Area Number |
24500224
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 人工知能 / 画像 / 物体認識 / ジェスチャ / 物体の機能 |
|---|
| Research Abstract |
本年度はまず指使いの特徴量記述を進めるために、二次元の画像特徴に基づく特定の指使い切り出し手法の研究と、その二次元特徴に基づいて三次元パラメター（関節角度）による手指姿勢記述を得る手法について研究を行った。
前者については時系列の前にコップのハンドルを持つ典型的な静止姿勢について、静止画のSURF特徴と手首の位置の共起性をRandomized Trees識別器を用いてサンプル学習し、複数のSURF特徴によるRandomized Treesの出力確率分布の投票に基づくアルゴリズムを開発し、通常の背景を含むシーンからコップを持つ手を検出した。さらに、検出された手の位置より、コップの画像特徴の出現位置をサンプルからOne-class SVMを用いた学習によって予想し、当該指使いと深く関連する物体（この場合はコップ）の見え特徴を選択的に検出することを行った。
後者については、シルエット特徴を基にあらゆる手指姿勢のCG辞書を生成して入力と照合する原理に基づく三次元手指姿勢推定システムの開発を進めた。複数の２次元見え特徴に基づく決定木による事前分類を活用した効率的な辞書探索手法を用いて、時間方向の追跡を全く必要とせず8コアCPUのノートPC上で30~60fpsの姿勢推定を実現した。
上記と同時に、腕を使ったおおまかな動作と物体の関係を、ペットボトルや本のような対象について長時間記録した時系列画像から、教師なしのクラスタリング手法であるDirichlet Process Modelによるキー姿勢抽出と階層化Pitman-Yor言語モデルを用いた動作の分節化を行なって、シーンに持ち込まれる物体と動作を関連付け記録するシステムを試作した。これにより飲む動作をキーにしてペットボトルの持ち込みシーンを検索するインターフェースを実現できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では手の指使いと物体の見えの関連を過去の視覚経験からボトムアップに学習して、同じ機能を持つ初見の物体を画像から検出できるか、という研究目標を掲げている。当初計画では、まず指使いの動作特徴を記述する手法の検討から始める予定であったが、物体を操作する視覚経験サンプル動画を大量に集めるには、背景を含む通常のシーンで安定的に手と関連する物体を切り出すことが必要と考え、まず動作を構成する個々の静止画からの画像特徴に基づいて実際の物体操作シーン（カップを持つ手）が我々の所有する既存技術で切り出せるかどうかを検証した。その結果やや不十分という判断をしたため、識別器の構成パラメータの詳細なチューニングと投票アルゴリズムの大幅な改良を行ったところ改善をみた。このプロセスがあったため、動作の時系列特徴を取り扱えていないが次年度から始める予定である。
これ以外については、静止画特徴ベースではあるが手指の形状と物体の出現位置の共起性の学習手法を進めて進展をみた他、時系列に拡張するための実時間３次元手指姿勢システムの開発も進み、また腕による大きなジェスチャではあるが教師なしボトムアップ手法に基づくジェスチャの自動切り出しと物体との関連付け手法を開発して成果をあげ、学会発表も行ったので、順調に推移していると考える。
|
| Strategy for Future Research Activity |
指使いの静止画特徴に基づく物体特徴領域の予測と検出に基づいて、自動的に物体を操作するシーンを、普段の生活シーンの長時間記録から切り出す実験を行う。このとき、検出精度をより向上するために複数の共起特徴を用いた学習手法を検討する。
また、切りだされた物体（カップとはさみを想定）の見え特徴（SURFなどの画像特徴）と指使い静止画特徴との共起関連性を学習する手法について検討を進める。学習の実験を通して、実際の物体のどのような見え特徴がその物体クラス（カップ）に共通する特徴なのかがうまく抽出できているかどうかを詳細に分析しながら学習手法を改善する予定である。二次元画像特徴だけでは不十分と判断される場合には、３次元の深度センサーを用いた距離画像情報による見え特徴の利用も検討する。
さらに上記の枠組みを時系列動作に拡張し、動作の時系列特徴と物体の見えの共起性の学習へ進める。
【指使い特徴と物体の見え特徴の共起性の学習】前年度までに指使いと物体の見え・形の形態素による記述が得られていれば、ある物体を操作したときの指使いと組み合わせてその共起性を学習する方法を研究する。特に手を基準にして物体の各部がどこに配置されるか、各指が物体のどの部分に接触するか、に注意する。その具体的方法の候補として、申請者の従来研究成果である、静止した手指 形状と物体の認識を組み合わせる手法 [4] の拡張を検討する。従来研究では手と物体の見え同士を結合した静止画像特徴だけから学習を行ったが、本研究では指使いの時系列特徴と物体特徴の組み合わ せになっているところが拡張になっている。従来手法では線形の部分空間法 (CLAFIC) を学習に用いたが、本研究では非線形のカーネル主成分分析(KPCA)やカーネル正準相関分析(KCCA)を検討する。
|
| Expenditure Plans for the Next FY Research Funding |
本年度購入予定で予算計上していた画像特徴抽出処理用計算機については、GPUを用いた並列計算化の前にオフライン計算に基づく手指検出アルゴリズムの開発と検証を行ったため、本年度の購入を見送りマルチコアのPCで代替した。次年度に当該アルゴリズムに基づく実際の物体利用シーンの解析と学習に利用するため購入を予定している。さらに通常の画像取得用カメラ、普及型の深度センサーを購入して部屋内に固定設置し、物体や道具を操作するシーンを長時間に渡り定点観測するシステムを実装する。長時間にわたる大量画像データの記録用メディア、ハードディスクなどの整備を行う。その他消耗品の購入に使用する。
国際会議、国内会議での研究成果を発表を進めるため、会議参加費、旅費等に使用する。
撮影業務、データ整理、分析作業を学生等にしてもらうための謝金に使用する。
|
