| 研究課題/領域番号 |
24650046
|
|---|
| 研究機関 | 筑波大学 |
|---|
研究代表者 |
田中 二郎 筑波大学, システム情報系, 教授 (20251043)
|
|---|
| 研究期間 (年度) |
2012-04-01 – 2014-03-31
|
| キーワード | デジタルカメラ / ジェスチャ認識 / 自分撮り / オプティカルフロー |
|---|
| 研究概要 |
本研究では、自分撮りを手軽にするためのカメラ撮影に関する研究を行っている。すなわち、カメラにジェスチャ認識機能を組み込み、被写体がカメラにハンドジェスチャで指示すると、カメラは写っている画像を実時間で自己認識し、その結果に基づいてカメラを制御する。
平成24年度には「ハンドジェスチャに基づいた自分撮りシステム」のプロトタイプIを作成した。プロトタイプIでは、デジタルカメラの代わりにWebカメラ、プレビュー画面を表示するために大画面液晶ディスプレィ、リアルタイムの画像解析のためにパーソナルコンピュータを用いている。シャッターを押すにはユーザは指先をプレビュー画面に半透明で重畳表示されたカメラアイコンの上に数秒間かざす。またカメラアイコンの下にカメラを操作するためのCross based interfaceが同じく半透明に十字状に重畳表示される。
ジェスチャの部分について、じゃんけんのような手の形状を認識する第一水準のジェスチャ（静的基本ジェスチャ）の他に、動的な手の動きを感知する第二水準のジェスチャ（動的基本ジェスチャ）を認識できるようにし、ジェスチャの解析技術として、通常の指先の画像認識だけでなく、オプティカルフローを用いて解析を行うようにした。
また「ハンドジェスチャに基づいた自分撮りシステム」のプロトタイプIIの一部を先行的に作成した。プロトタイプIIは、機能的にはプロトタイプIと同様であるが、持ち運び可能な携帯型のシステムである。プロトタイプIIではカメラもWebカメラではなく、通常の一眼レフデジタルカメラを使用した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
平成24年度については、「ハンドジェスチャに基づいた自分撮りシステム」のプロトタイプIを作成する予定であったが、プロタイプの実装は順調に進み、ジェスチャの部分について、動的な手の動きを感知するジェスチャインタフェースを採用し、解析技術としてオプティカルフローを用いたジェスチャを無事に取り込むことができた。
オプティカルフローとは、映っている対象の動きを時系列画像から検出する手法の一つで、画面を構成する画素のもつ輝度値が微小時間後（実際は次のフレーム）にその輝度値を変えず、座標のみが変化したと考えて、画素の速度ベクトルを求める式を立てるという手法である。
ジェスチャとしては、単に手を右から左、あるいは上から下に動かすといった単純なものでなく、手を左右に振るような動作、手を時計回りに回転させるような動作、「おいでおいで」のような手招きの動作、「向こうへ行け」というような追い出しの動作、などの各種の手の動きの動作を認識できるようにした。また、動作の種類を認識するだけでなく、動作量を認識するようにした。
当初の予定以上に研究が進展し、持ち運び可能な携帯型のシステムであるプロトタイプIIの一部まで作成することができた。
|
| 今後の研究の推進方策 |
プロトタイプIIは、屋外等のより実際のシーンでの適用範囲の拡大を狙ったシステム構成である。プロトタイプIIではカメラもWebカメラではなく、通常の一眼レフデジタルカメラを使用している。プレビュー画面はカメラの後ろに表示するのではなくカメラの前面から確認可能なようしている。
現在プロトタイプIIに使用しているCanon60Dカメラはカメラに顔認識機能が組み込まれている。また開発者用のSDKを公開しており、パソコンと結合して使用することが出来る。システムからのフィードバックはランプの点滅程度にとどめ、そのような環境でも動作するシステムを作成する。
本システムではプレビュー画面にGUI部品を配置してそれを操作するといった細かなインタラクションを行うことが困難であり、より直感的なジェスチャを設計し、実装する必要がある。そのためハンドジェスチャによる操作でなく、顔認識を利用した、顔の表情による操作についても実装を進める。
|
| 次年度の研究費の使用計画 |
設備備品は該当なし。消耗品費としてはプロトタイプの作成のための部品として、デジタルカメラ、三脚、プレビュー用情報端末、パソコンなど。他に関連ソフトウェアや論文の別刷代など。
旅費は研究成果の発表のための国内旅費、海外旅費など。人件費・謝金としては、プログラム開発やシステムの評価に関して協力を依頼する大学院生一人をリサーチアシスタントとして雇用する。その他としては、学会参加費や英文校正の費用を計上している。
|
