時空間SFMによるダイナミックな環境の4次元モデリング
| Project/Area Number |
12J05822
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Perception information processing/Intelligent robotics
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
櫻田 健 東北大学, 大学院情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2012 – 2013
|
| Project Status |
Completed (Fiscal Year 2013)
|
| Budget Amount *help |
¥1,800,000 (Direct Cost: ¥1,800,000)
Fiscal Year 2013: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2012: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 街全体 / ストリートビュー / 上空視点画像 / 時間変化 / 3次元復元 / 位置合わせ / 最適化(誤差の最小化) / 津波被害 / 画像収集 / 東日本大震災 |
|---|
| Research Abstract |
本年度は米国のカーネギーメロン大学で金出武雄教授の指導の下, 時空間SFMの理論構築を行った. また, 東北大学の所属研究室の学生に依頼し, 今年度も被災地の計測を行った.
カーネギーメロン大学では金出武雄教授と木谷クリス先生に指導を受けた. 木谷クリス先生は画像を用いた機械学習のプロフェッショナルであり, 我々が持つ画像を用いた3次元形状復元技術(Struvcture fromMotion (SfM))と融合することで, ストリートビュー画像と上空視点画像から街全体の瓦礫や緑の量を推定することに成功した. この技術によりカメラを取り付けた車で街中を走行するだけで街全体の状態を推定することが可能となった. さらに, 異なる時期のデータに我々の技術を適用し比較することで街並みの変化を可視化することも可能となった.
ストリートビュー画像と上空視点画像を"直接"対応付けることは難しい. そこで, 我々は解像度の高いストリートビュー画像を用いて瓦礫などの物体を認識し, 上空視点画像を各エリアの状態の類似度として"間接的"に用いることでストリートビュー画像では観測できなかったエリアの状態を推定した. この技術は世界的にも例がないため, 成果を論文にまとめ分野のトップカンファレンスの一つであるECCV (European Conference on Computer Vision)に投稿した.
具体的には, 以下の手順で街全体の状態を推定する.
1. 撮影時の各カメラの姿勢をストリートビュー画像とGPSの情報からSfMを用いて推定
2. ストリートビュー画像上で機械学習手法を用いて瓦礫(や緑)である確率をピクセルごとに推定
3. 2で推定した確率を地図の建物情報を利用して地面に投影
4. ガウス過程を利用して上空視点画像の各エリアの類似度からストリートビュー画像の未計測領域の状態を推定
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
予定通り今年度も津波被災地を撮影した. また, 当初は幾何学的アプローチを用いて街並みの変化を推定する予定であったが, 機械学習手法を取り入れることで目的を実現し予想以上の性能を得ることができた.
|
| Strategy for Future Research Activity |
本年度の研究によりストリートビュー画像と上空視点画像から街全体の状態を推定することが可能となった. 一方で, データ量が膨大であるため津波被災地全体(沿岸部約500km)の街並みの変化を推定することが未だ実現できていない. そこで, 今後は時間変化を高速に推定する手法を開発する. そのために, 時間変化をこれまでよりも抽象的レベルで高速に判定する. その結果時間変化があると判定されたエリアにおいてこれまで提案した手法を適用し, 詳細に時間変化を推定することが有用であると考えている.
|
Report
(2 results)
Research Products
(7 results)
-
-
-
-
-
-
-
[Presentation] 東日本大震災における被災と復興の時空間映像アーカイブの構築2012
Author(s)
出口光一郎, 岡谷貴之, 嵯峨智, 櫻田健, 柳澤淳, 手塚大基, 佐藤慎也, 池内克史, 小野晋太郎, 大石岳史, 影沢政隆, 佐藤啓宏, 阪野貴彦, 角田哲也, Wang Zhipeng
Organizer
MIRU2012
Place of Presentation
福岡国際会議場
Related Report
