2013 Fiscal Year Research-status Report
模型ヘリコプターからの計画的撮影による死角のない高解像度３次元画像生成
| Project/Area Number |
25330213
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
越後 富夫 大阪電気通信大学, 情報通信工学部, 教授 (80434801)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | SfM / MVS / ３次元再構成 / テクスチャマッピング / 自律飛行制御 |
|---|
| Research Abstract |
災害時の情報獲得として，カメラを搭載した小型ヘリコプタを用い，重要な視点に誘導して情報を得ることは非常に重要である．動きながら映像を撮影すると，映像だけでなく３次元情報の復元が可能であることが知られている．しかしながら，簡易な模型ヘリコプタに搭載したカメラの映像では，撮影位置に依存したテクスチャを利用しなければ十分な画質が得られない．そこで，仮想視点を選択する毎に最適なテクスチャを選択し，十分な高画質を得ることを目的にした．
３次元形状を得る手法として, Structure from Motion (SfM) が挙げられるが, SfM はエッジ上の３次元特徴点が密に得られない. そこで, SfM とMulti-view Stereo (MVS) を組み合わせて密な３次元特徴点を推定する．次に, 特徴点群から面を生成し, テクスチャマッピングを行う．テクスチャマッピングにはサーフェイスが観測可能なカメラ位置を知る必要があり, カメラとサーフェイス間に他のサーフェスの存在を調べる可視判定を行う．観測可能な三角形パッチにテクスチャマッピングを施すが，搭載したカメラから得た映像は歪みが大きく，復元した３次元情報に重畳した誤差の影響で，面の接合部において歪みが大きく，撮影した原画像より質の低下した画像しか得られないことがある．そこで本研究では，再現する仮想視点に近いカメラのテクスチャを用いることで不適切な変形を防ぎ, 仮想視点に適したテクスチャマッピングを行い，従来手法で生成した仮想視点画像と本研究で得られた画像の画質を評価した．
また，模型ヘリコプタであるARDroneの自律飛行を実現するための予備実験として，マーカを用いて位置・姿勢を補正しながら複数マーカ近傍を飛行する自律制御も並行して行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
３次元再構成と，テクスチャマッピングにおける可視判定は予定通りに実現でき，破綻のない復元画像を生成できた．研究結果の評価は，復元画像の画質で行うことにしたが，仮想視点では正解画像がないため，実際に存在するカメラの位置を視点として，従来手法で生成した仮想視点画像と本研究で得られた画像の画質を評価した．撮影した原画像と生成画像の比較をPSNRで求め，従来技術であるCMPMVSとの差を求めると，ほとんどのカメラ位置で提案手法の画質が良くなる結果が得られた．この成果を2013年11月に開催された電気関連学会関西連合大会で発表し，映像情報メディア学会関西支部優秀論文発表賞を受賞した．それに伴い，映像情報メディア学会から論文投稿の推薦を受け，現在投稿準備中である．
また模型ヘリコプタであるARDroneを用いて，マーカを検出するとともに，マーカへの姿勢および距離を検出し，飛行位置を補正することで，ヘリコプタの自律飛行を実現した．自律飛行の予備実験のために，マーカ検出はARToolkitを利用した姿勢検出と，マーカサイズの判定による距離推定を行い，ヘリコプタ内部センサによるデッドレコニングによる飛行とマーカ検出によるビジュアルフィードバックによる飛行を複数マーカの追跡によって実現した．飛行実験における評価では，マーカまでの距離150cmまで接近する飛行を繰り返した結果，約7.5％の距離誤差で自律飛行が行えた．
|
| Strategy for Future Research Activity |
模型ヘリコプタに搭載しているカメラはCMOSで，ローリングシャッターになっており，ヘリコプタのローターによる振動の影響を受け，振動ノイズが画像キャプチャに強く影響を及ぼしている．当初はデジタルカメラで撮影した画像に対して処理を行っていたため，振動ノイズは無かったので，再構成した３次元情報は正確であった．しかし，ヘリコプタ搭載カメラを利用すると，３次元情報に大きな誤差が重畳した．カメラキャリブレーションを正確に行ったが，問題はローリングシャッターが原因であった．現状は振動を無くすためヘリコプタを手動で持ち運びながら撮影しているが，問題解決のため，カメラをグローバルシャッターに変更する，またはグローバルシャッターを搭載したヘリコプタに変更する必要がある．本年度はカメラを入れ替えて小型軽量のグローバルシャッターカメラに改造することを計画している．
現在は，３次元再構成された情報を基にしているが，３次元再構成できないエッジ情報は隠れ状態が推定でき，正確なサーフェスが推定可能となるとともに，その裏側がカメラの死角になっていることを推定できる．推定結果と再構成結果によって，新たな視点の必要性を決定でき，カメラをその位置に移動することで隠れの無い３次元情報再構成が可能になる．
また，ヘリコプタの自律飛行はこれまでマーカを利用したが，復元した３次元情報からマーカと同等の姿勢・位置情報を得ることができるため，マーカを用いることなく得られた３次元情報からの自律飛行を計画している．
|
| Expenditure Plans for the Next FY Research Funding |
購入予定のノートＰＣおよびタブレットは性能が高く，人気製品のため，納品が年度末に間に合わず，購入申請を次年度に持ち越した．仕様を落として納期に間に合わせるより，高性能な機器購入を優先した．
また，旅費においては，次年度にSwedenで開催される国際会議に行く予定が決まったので，本年度は国内発表を中心に行った．
年度初めは納品が早く，4月初旬に購入申請を提出した物品はすぐに納品されたため，計画に遅れは生じなかった．
8月にSwedenに出張を予定している．
|
