模型ヘリコプターからの計画的撮影による死角のない高解像度３次元画像生成

2014 年度 実施状況報告書

• 研究課題/領域番号: 25330213
• 研究機関: 大阪電気通信大学
• 研究代表者: 越後 富夫 大阪電気通信大学, 情報通信工学部, 教授 (80434801)
• 研究期間 (年度): 2013-04-01 – 2016-03-31
• キーワード: Occupancy Voxel / Structure from Motion / Multi-view Stereo / Drone

研究実績の概要

自然災害の発生時においては, 災害現場の早急な情報獲得が重要であり，カメラを搭載した模型飛行体（Drone）が有効である. しかし, Drone で撮影した映像には，カメラから死角になる領域があり，そこに要救助者が存在する可能性のため，再飛行が必要になるが，事前に観測不十分領域が検出されていると飛行計画生成が容易になる．そこで, 取得された画像から 3 次元情報復元のため，Structure from Motion(SfM), Multi-view Stereo(MVS), 四面体カービング法を用いて 3 次元サーフェスを生成し, シーンを分割した Occupancy Voxel を設定する. そして,Voxel の視線通過数，サーフェス，視線不通過数から観測不十分領域を推定する.
SfM は VisualSFM, MVS と四面体カービングはCMPMVSを用いた. VisualSFM は撮影映像からカメラ外部パラメータを求め, CMPMVS は得られたパラメータから物体の表面を 3 次元サーフェスとして抽出する．一 方 ， 移 動 ロ ボ ッ ト の 移 動 可 能 領 域 を 推 定 す るOccupancy Gridは移動する２次元面をグリッド状に分割し, グリッドにセンサ情報に基づいて状態を持たせることで空き領域を推定する. 本研究では Drone が空中を飛行するため, 空間を Voxel に分割し, 各 Voxel の状態から観測不十分領域を検出する.
ARDrone2.0 を用いて撮影した 159 枚の画像から 3 次元復元を行い，同時に観測不十分領域を推定した．観測不十分領域は復元信頼度が低く，観測不十分領域を提示することで, 情報欠落による見落としを防ぐための再飛行計画の自動生成が可能になると考えられる．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

３次元再構成とテクスチャマッピングによる自由視点映像の生成は汎用性が高まり，研究室で撮影した映像だけでなく，ネット上にアップされた映像からも同様に３次元復元と自由視点映像生成が可能となった．その内容は2014年11月奈良先端大で開催された電気関連学会関西連合大会ポスターシンポジウムで発表した．また，映像における隣接フレームから強い特徴点の対応を求め，３角形パッチを生成し，求めた変換行列から解像度を向上させる研究を行ったが，対応づけのミスから画質を低下することになったため，３角形パッチを元に近傍画素の対応づけによる画質向上を最終年に取り組む予定である．
さらに，ロボットの自律移動におけるSLAMの技術におけるOccupancy Gridを３次元に拡張したOccupancy Voxelを設定し，Voxelへの視線通過本数をカウントすることで観測不十分領域を推定する手法を提案した．粗い粒度のVoxelで領域推定の可能性を確認でき，その内容と結果は．2015年３月立命館大で開催された電子情報通信学会総合大会情報システムソサイエティ特別企画でポスター発表した．
観測不十分領域推定は本研究の目的である，死角のない映像獲得のための中心技術である．観測不十分領域推定が完成すると，視線の逆投影からカメラ位置を得ることができ，再撮影のための飛行計画を立てることができる．また，赤外線カメラを併用して，要救助者の有無，特に観測不十分領域は瓦礫の陰になることが多いため，死角になる領域の情報獲得が重要になる．
以上，最終年度に向けて研究は順調に進展していると言える．

今後の研究の推進方策

本研究で利用したドローンはプログラム制御可能な機体であるARDroneを用いたが，搭載しているカメラがローリングシャッタであったため，飛行時のローターの振動によるブレがカメラに伝わり，撮影した映像が乱れてしまっていた．2015年４月に販売された次期バージョンのARDroneは映像の安定化を図っているので，振動による映像の乱れは解消できると推定できる．この機体を購入することで，これまでは撮影時に機体を持って移動していたのを，実際に飛行させて撮影し，これまでの研究成果を確認することが最終年度の目標である．
また，解像度向上に取り組みにおいては，連続フレームの強い特徴点を対応づけ，変換行列による大まかな画素生成の後，近傍画素の対応づけ画素値の修正を行う．従来手法と比較して，PSNRが向上することを目指し，画質改善も最終年度の目標である．
さらに，ARDroneに搭載されたカメラ以外に赤外線カメラを搭載し，映像獲得と同時に赤外線サーモグラフィによる温度情報をマッピングし，人の存在を判定する．災害地では，要救助者の探索が最重要であるため，人の存在位置を明らかにする．特に観測不十分領域は瓦礫の陰になることが多いため，死角になる領域の再飛行による映像撮影とともに，人の存在を明らかにし，人命救助に役立てる．これらの撮影環境を再現するため，疑似的な瓦礫状態を作成し，ARDroneによる撮影と3次元復元および自由視点映像生成，観測不十分領域の判定，再飛行による死角のない映像撮影と瓦礫の隙間に隠れた人の検出を行う．
最終的には，一連の処理をデモで表現し，論文に投稿する．

次年度使用額が生じた理由

ARDroneの次期バージョンは2015年4月の販売開始であったため，購入は次年度に持ち越した．
また同様に，プレゼンテーション用の購入希望ノートパソコンの販売が5月であったため，次年度に持ち越した．

次年度使用額の使用計画

GPU処理が可能な高性能デスクトップパソコンの購入を予定し，またドローンに搭載可能な深度センサー，赤外線センサを購入する予定である．

研究成果

• [学会発表] 模型飛行体の多視点移動ステレオに基づくOccupancy Voxelを用いた観測不十分領域の検出 (2015)
  • 著者名/発表者名: 西谷昴，越後富夫
  • 学会等名: 電子情報通信大会総合大会 情報・システムソサイエティ特別企画 学生ポスターセッション
  • 発表場所: 立命館大学 びわこ・くさつキャンパス（滋賀県草津市）
  • 年月日: 2015-03-10 – 2015-03-12
• [学会発表] 動画投稿サイトの空撮映像を用いた仮想視点依存の3次元シーン復元 (2014)
  • 著者名/発表者名: 西谷昴，越後富夫
  • 学会等名: 平成26年電気関連学会関西連合大会
  • 発表場所: 奈良先端科学技術大学院大学（奈良県生駒市）
  • 年月日: 2014-11-23 – 2014-11-24