Development of a high-precision SfM method robust to texture-less regions using a pendulum camera
| Project/Area Number |
23K11166
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
石井 裕剛 京都大学, エネルギー科学研究科, 准教授 (00324674)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 振り子カメラ / 3次元再構成 / テクスチャレス / 動き推定 / 環境再構成 / 運動予測 / Structure from Motion / RGB-Dカメラ |
|---|
| Outline of Research at the Start |
本研究課題では、振り子として振動させたRGB-Dカメラを用いて撮影して得た画像群を元に、振り子の運動のパラメータを推定し、その結果を用いて高精度に環境の３次元形状を推定する手法を開発する。また、深層学習を用いて、手振れが生じた画像からカメラのシャッター開口期間の姿勢の変化量等を推定し、その結果を用いて振り子の運動パラメータの推定精度を向上させる手法も開発する。さらに、振り子カメラにブランコと同様の原理で自動的に振動を開始する機能と、振り子カメラ内にモータを組み込んで紐の長さを自動的に調整する機能を実装し、撮影可能な領域を拡大することを試みる。
|
| Outline of Annual Research Achievements |
本年度はまず、シミュレーション環境で振り子の運動を再現し、振り子にRGB-Dカメラを搭載して環境を撮影する状況を模擬した。次にこの環境で撮影して得た画像から画像特徴点を認識し、それを元に安定して画像特徴点を認識可能だった画像のみを用いて画像撮影時のカメラの位置・方向を求めるプログラムを開発した。その後、最適化手法などを用いて、振り子の回転中心座標、回転の半径、振れの減衰等を推定する手法を実現した。次にこれらの値と画像を撮影した時刻を元に、画像特徴点を安定して認識できなかった画像に対しても、その撮影時のカメラの位置・方向を求める手法を実装し、最後に、位置・方向が分かった画像を用いて撮影対象の3次元点群モデルを生成するプログラムを実装した。
次に、実世界での振り子カメラとして、RGB-Dカメラ・RaspberryPI・バッテリー等を用いて振り子運動しながら環境を撮影するシステムを構築した。そして、大学内の複数の箇所を撮影することにより、毎秒15フレーム程度で環境を撮影するとともに撮影した瞬間の時刻を記録し、それらの結果をＰＣに転送できることを確認した。また、実カメラから得た画像を用いて画像特徴量を認識し、その結果を用いて画像を撮影した瞬間のカメラの位置と方向を求めてみた。その結果、カメラの軌道が振り子運動の形で推定できることを確認できた。
また、カメラを高速に移動しながら画像を撮影することによって生じてしまう画像のブレ（ブラー）から、カメラの動きを推定する手法の開発の第１段階として、シミュレーション環境でブラーを模擬しながらカメラ画像を生成するプログラムも実現した。さらに、このブラーが生じた画像のみからカメラの動きを推定するディープラーニングのネットワークの初期バージョンを設計し、生成した画像を用いてネットワークを学習させる環境まで構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定では、初年度に「シミュレーション環境での振り子の運動パラメータ推定手法の開発」と「振り子カメラの実機開発」を実施し、２年目に「深層学習を使用した手振れ画像からの有用情報の抽出手法の開発」を実施する予定であった。「シミュレーション環境での振り子の運動パラメータ推定手法の開発」は予定通り完了した。「振り子カメラの実機開発」もほぼ予定通り完了したが、一部、振り子の振れを安定させる箇所の性能に不満が残った。一方、２年目に実施する予定であった「深層学習を使用した手振れ画像からの有用情報の抽出手法の開発」を前倒しで実施し、ネットワークの学習に用いるためのブラー画像の生成プログラムの実装や、ベースとなるディープラーニング用ネットワークの設計までも進めることができた。以上を総合し、「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
２年目は、「振り子カメラの実機開発」をさらに進めるとともに、「深層学習を使用した手振れ画像からの有用情報の抽出手法の開発」を計画通りに進める予定である。特に、ネットワークが、ブラー画像から、ブラー情報を優先的に抽出して利用し、カメラの動きを推定するように、ネットワークの設計を工夫する予定である。その後、実画像を用いてブラー画像からカメラの動きを推定することを試み、性能を評価する予定である。
一方、実機の振り子カメラから得た画像を元に、振り子のパラメータを推定し、それらを用いてテクスチャレスな領域のモデルを構築することも試みる。
また、計画通りに「第１段階のシステムの評価」も実施し、途中段階での手法の性能を評価する予定である。
|
Report
(1 results)
Research Products
(2 results)
