2011 Fiscal Year Annual Research Report
既存映像を用いた動きのある３次元空間の再構築手法に関する研究
| Project/Area Number |
23680011
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
西村 邦裕 東京大学, 先端科学技術研究センター, 客員研究員 (70451797)
|
|---|
| Keywords | VR空間 / 3次元データ / 動画 / データベース / 空間再構成 / 領域バーチャルタイムマシン / 距離画像カメラ |
|---|
| Research Abstract |
本研究の目的は，動画をあたかも目の前で起こっているかのような臨場感を伴う方式で視聴することにより，記録された過去の状況をよりよく把握できるシステムの構築である．受動的に視聴しがちな既存の動画アーカイブから，(1)動的な3次元空間を構築し，画像情報を拡張し自由視点での閲覧を可能にすることで，一般的な動画の再生方法では把握しにくい空間的状況を把握しやすくするとともに，(2)実空間で実際の風景の上に重畳された状態で再生を行うことを可能にし，体験的に動画の内容を理解可能とするシステムを構築し，能動的な動画の理解を促進することを目標として研究を行った．
今年度は，特に(1)の動的な3次元空間を構築することを行った．具体的には，既存動画に対して3次元空間再構成を行い，3次元情報を補完するアルゴリズムを構築した．静止している部分と動いている部分に分け，静止している部分を3次元空間とみなし，動いている部分を再生することにより，動的な3次元空間の構成が可能となった．デジタルサイネージといったディスプレイ内の映像が変わる風景，景色の中の川，映像の中で小さく動く車などはうまく動的3次元空間として再現でき，VR空間を構築するとコントローラを利用して見回すことが可能となった．
また既存動画に対して3次元情報を補完するアルゴリズムに対して、動きの含んだ都市空間のアーカイブ、アルゴリズムに適した動画を複数取得しデータベース化する作業が必要となった．動画を整理しデータベース化することで、アルゴリズムに適した動画を簡単に抽出していくことが可能となる．そのため，静止画および動画のデータベースの構築を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，新たに既存動画に対して3次元情報を補完するアルゴリズムに対して，動きの含んだ都市空間のアーカイブ，アルゴリズムに適した動画を複数取得しデータベース化する作業が必要となり，課題を繰り越すことで対応し，達成することができた．撮影してすぐにアップロードするモバイルアプリケーションや，サーバ側でサムネイルを表示するアプリケーションなども制作することで，確認を容易にする仕組みを構築した．
また，複数台の距離画像カメラを用いたリアルタイムかつ常時に3次元データを記録できるシステム「PRIMA」の開発を発展させた．PRIMAは，基本的には4台の距離画像カメラを天井部に設置，空間中央を向けて配置し，距離画像カメラを結んでその下方までの直方体空間を3次元データとして記録する．本システムは安価に制作し，簡単に設置可能なことが特徴で，実際に研究室外の一般家庭及び一般的オフィスにおいて1週間程度の記録実験を行なっている．また，同システムは空間中の人物を認識・抽出することが可能で，人物の人数や行動によってデータベースにタグ付けを行うことに応用可能である．この機能を利用し，過去の3次元データから人物だけを抽出し，現在の空間内に描画することで，過去の人物がその場に存在するかのような3次元映像を作ることができる．本年はPRIMA自体の整備を行い実際に活用できるように発展させた．鉄道博物館において過去の来館者を現在の展示空間に映し出し，展示物を時間軸方向に拡張するという展示に際して，本機能を応用して技術提供を行った．
|
| Strategy for Future Research Activity |
繰越した部分について課題を達成することができたので，本来の研究自体との相乗効果が見込める．また，次年度の研究を遂行していくとともに，今後，知見を論文にまとめる作業を行う予定である．
|
