• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2013 年度 実施状況報告書

模型ヘリコプターからの計画的撮影による死角のない高解像度3次元画像生成

研究課題

研究課題/領域番号 25330213
研究種目

基盤研究(C)

研究機関大阪電気通信大学

研究代表者

越後 富夫  大阪電気通信大学, 情報通信工学部, 教授 (80434801)

研究期間 (年度) 2013-04-01 – 2016-03-31
キーワードSfM / MVS / 3次元再構成 / テクスチャマッピング / 自律飛行制御
研究概要

災害時の情報獲得として,カメラを搭載した小型ヘリコプタを用い,重要な視点に誘導して情報を得ることは非常に重要である.動きながら映像を撮影すると,映像だけでなく3次元情報の復元が可能であることが知られている.しかしながら,簡易な模型ヘリコプタに搭載したカメラの映像では,撮影位置に依存したテクスチャを利用しなければ十分な画質が得られない.そこで,仮想視点を選択する毎に最適なテクスチャを選択し,十分な高画質を得ることを目的にした.
3次元形状を得る手法として, Structure from Motion (SfM) が挙げられるが, SfM はエッジ上の3次元特徴点が密に得られない. そこで, SfM とMulti-view Stereo (MVS) を組み合わせて密な3次元特徴点を推定する.次に, 特徴点群から面を生成し, テクスチャマッピングを行う.テクスチャマッピングにはサーフェイスが観測可能なカメラ位置を知る必要があり, カメラとサーフェイス間に他のサーフェスの存在を調べる可視判定を行う.観測可能な三角形パッチにテクスチャマッピングを施すが,搭載したカメラから得た映像は歪みが大きく,復元した3次元情報に重畳した誤差の影響で,面の接合部において歪みが大きく,撮影した原画像より質の低下した画像しか得られないことがある.そこで本研究では,再現する仮想視点に近いカメラのテクスチャを用いることで不適切な変形を防ぎ, 仮想視点に適したテクスチャマッピングを行い,従来手法で生成した仮想視点画像と本研究で得られた画像の画質を評価した.
また,模型ヘリコプタであるARDroneの自律飛行を実現するための予備実験として,マーカを用いて位置・姿勢を補正しながら複数マーカ近傍を飛行する自律制御も並行して行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

3次元再構成と,テクスチャマッピングにおける可視判定は予定通りに実現でき,破綻のない復元画像を生成できた.研究結果の評価は,復元画像の画質で行うことにしたが,仮想視点では正解画像がないため,実際に存在するカメラの位置を視点として,従来手法で生成した仮想視点画像と本研究で得られた画像の画質を評価した.撮影した原画像と生成画像の比較をPSNRで求め,従来技術であるCMPMVSとの差を求めると,ほとんどのカメラ位置で提案手法の画質が良くなる結果が得られた.この成果を2013年11月に開催された電気関連学会関西連合大会で発表し,映像情報メディア学会関西支部優秀論文発表賞を受賞した.それに伴い,映像情報メディア学会から論文投稿の推薦を受け,現在投稿準備中である.
また模型ヘリコプタであるARDroneを用いて,マーカを検出するとともに,マーカへの姿勢および距離を検出し,飛行位置を補正することで,ヘリコプタの自律飛行を実現した.自律飛行の予備実験のために,マーカ検出はARToolkitを利用した姿勢検出と,マーカサイズの判定による距離推定を行い,ヘリコプタ内部センサによるデッドレコニングによる飛行とマーカ検出によるビジュアルフィードバックによる飛行を複数マーカの追跡によって実現した.飛行実験における評価では,マーカまでの距離150cmまで接近する飛行を繰り返した結果,約7.5%の距離誤差で自律飛行が行えた.

今後の研究の推進方策

模型ヘリコプタに搭載しているカメラはCMOSで,ローリングシャッターになっており,ヘリコプタのローターによる振動の影響を受け,振動ノイズが画像キャプチャに強く影響を及ぼしている.当初はデジタルカメラで撮影した画像に対して処理を行っていたため,振動ノイズは無かったので,再構成した3次元情報は正確であった.しかし,ヘリコプタ搭載カメラを利用すると,3次元情報に大きな誤差が重畳した.カメラキャリブレーションを正確に行ったが,問題はローリングシャッターが原因であった.現状は振動を無くすためヘリコプタを手動で持ち運びながら撮影しているが,問題解決のため,カメラをグローバルシャッターに変更する,またはグローバルシャッターを搭載したヘリコプタに変更する必要がある.本年度はカメラを入れ替えて小型軽量のグローバルシャッターカメラに改造することを計画している.
現在は,3次元再構成された情報を基にしているが,3次元再構成できないエッジ情報は隠れ状態が推定でき,正確なサーフェスが推定可能となるとともに,その裏側がカメラの死角になっていることを推定できる.推定結果と再構成結果によって,新たな視点の必要性を決定でき,カメラをその位置に移動することで隠れの無い3次元情報再構成が可能になる.
また,ヘリコプタの自律飛行はこれまでマーカを利用したが,復元した3次元情報からマーカと同等の姿勢・位置情報を得ることができるため,マーカを用いることなく得られた3次元情報からの自律飛行を計画している.

次年度の研究費の使用計画

購入予定のノートPCおよびタブレットは性能が高く,人気製品のため,納品が年度末に間に合わず,購入申請を次年度に持ち越した.仕様を落として納期に間に合わせるより,高性能な機器購入を優先した.
また,旅費においては,次年度にSwedenで開催される国際会議に行く予定が決まったので,本年度は国内発表を中心に行った.
年度初めは納品が早く,4月初旬に購入申請を提出した物品はすぐに納品されたため,計画に遅れは生じなかった.
8月にSwedenに出張を予定している.

  • 研究成果

    (4件)

すべて 2014 2013

すべて 学会発表 (4件)

  • [学会発表] クアッドコプタの自律飛行における自動マーカ追跡2014

    • 著者名/発表者名
      森田康介,越後富夫
    • 学会等名
      電子情報通信学会総合大会
    • 発表場所
      新潟大学
    • 年月日
      20140318-20140321
  • [学会発表] 模型飛行体の多視点移動ステレオにおけるテクスチャ復元2013

    • 著者名/発表者名
      西谷昴,越後富夫
    • 学会等名
      電気関係学会関西連合大会
    • 発表場所
      大阪電気通信大学
    • 年月日
      20131116-20131117
  • [学会発表] 模型飛行体の多視点移動ステレオに基づくシーン復元2013

    • 著者名/発表者名
      西谷昴,越後富夫
    • 学会等名
      電子情報通信学会 画像の認識・理解シンポジウム
    • 発表場所
      国立情報学研究所
    • 年月日
      20130729-20130801
  • [学会発表] 多視点ステレオに基づく最適テクスチャ選択による3Dシーン抽出2013

    • 著者名/発表者名
      西谷昴,越後富夫
    • 学会等名
      情報処理学会CVIM研究会
    • 発表場所
      東京農工大学
    • 年月日
      20130529-20130530

URL: 

公開日: 2015-05-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi