2017 Fiscal Year Annual Research Report
Automation Sytem for Modelling 3D Data of Insects with High-Resolution Textures
| Project/Area Number |
17H01848
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
田中 浩也 慶應義塾大学, 環境情報学部(藤沢), 教授 (00372574)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小檜山 賢二 慶應義塾大学, その他の研究科, 教授 (00306888)
井尻 敬 芝浦工業大学, 工学部, 准教授 (30550347)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 昆虫 / 3Dデータ / カラーテクスチャー / CTスキャン / デジタルアーカイブズ |
|---|
| Outline of Annual Research Achievements |
本研究は、微小オブジェクト（5ミリ～数センチ）を対象に、その計測からテクスチャ付き３Dモデル生成までの工程を自動化することを目的とする。特に、微小オブジェクトの表面の模様（テクスチャ）の計測は，通常の写真撮影ではピンボケが発生してしまうため，深度合成技術を採用する。また，複雑な構造を持つ微小オブジェクトの精密な形状取得のため，本研究では形状モデリングにX線CT計測を応用する。初年度では、CT画像によるモデル（モデルA）とSfM法によるモデル（モデルB）の組み合わせによる高解像度のカラーテクスチャ付き高精度モデルの生成自動化に目途をつけた。具体的には以下のサブ課題を実施した。
●A1）研究環境の整備 :大型CT装置の整備、および、自動写真撮影装置の設計と構築を行った。
●A2）CT画像分割ソフトウエアの実装 :CT画像から昆虫領域を分割する機能を，分担研究者が開発中の画像処理ソフトウエアRoiPainter3D上へ追加した。また，このソフトウエアを拡張することで4DCT画像の解析も試み，研究成果を発表した。
●A3）深度合成映像の取得: オブジェクトを中心にカメラを平行移動・回転させながら自動撮影（XY平面：10度間隔、Z軸：3方向、各角度において合焦点位置を変化させた50カットの合計5400カットを撮影）した後、この写真群から108の深度合成映像を自動生成する環境を構築した。
●A4）CTモデル/SfM法モデルの自動位置合わせ: CTから生成したモデルAと写真から生成したモデルBを位置あわせ（コンピュータによる自動位置合わせソフトを開発）し，モデルBにモデルAのテクスチャを転写する手法を実現した。
●A5）モデルの構築：上記技術を利用し，実際に昆虫サンプルの計測を行うことで40例程度の三次元モデルの構築を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度前半は、(A1)芝浦工大におけるX線CT撮影環境の整備と(A2)CT画像処理システムの整備を行い，本年度後半は、(A3)深度合成写真撮影環境構築と(A4)CTモデル/SfMモデルの位置合わせによるテクスチャ生成手法を実現した。
本年度前半に開発したCT画像処理システムにより昆虫CT画像から半自動的に3Dモデルを構築できる環境が整った。さらに，このCT画像処理システムの拡張により4DCT画像の可視化・領域分割を行なえるシステム開発も行い，成果をSIGGRAPH ASIA 2017にてポスター発表した。この時点では撮影精度に制限のある慶應大のCT装置を利用していたため撮影対象を植物とした。
本年度後半に実施した撮影環境構築により，複数視点からの写真撮影を自動で行なえるようになり、照明条件や固定台調整に関するノウハウを蓄積できた。また，CTモデル/SfM法モデルの位置あわせでは，深度合成画像群から生成したテクスチャ付き3Dモデルから，CT画像から生成した高精度3Dモデルにテクスチャ転送する事で，形状・テクスチャともに高精度な3Dモデルの構築を実現した。
研究全体として，モデル生成工程の自動化部分を拡大し，人手を必要とする部分の削減を実現した。また，今年度はCTモデル/SfM法モデルの位置あわせ手法により40件の昆虫3Dモデルを作成した。これらは、実用的に利用可能な高精細なモデルであると共に、最終目的であるモデル作成の全自動化の基礎となるものである。
今後は『写真群から深度合成写真を作成し，深度合成写真からSfM法により3Dモデルを作成し，このSfM法モデルからCT由来の3Dモデルへテクスチャを転写する』という工程を簡略化し，写真群とCT由来の3Dモデルとの位置あわせにより，深度合成されたテクスチャを直接生成する手法を実現しモデル生成工程の更なる効率化を計る。
|
| Strategy for Future Research Activity |
初年度に得られたこれらの結果を基にして，2018年度は以下を実施する予定である。
1) CT由来のモデルと深度合成写真との位置あわせによるテクスチャ自動生成:CT画像から構築した形状モデルと，互いに相対位置関係が既知である深度合成写真群の位置あわせを行うことで，形状モデルのテクスチャ復元を行える手法を実装する。
2) CT画像分割ソフトウエアRoiPainter3Dの洗練:昆虫標本内部の空気領域は外部から見えないが，昆虫CT画像を領域分割して形状モデルを生成すると，この内部領域がメッシュモデル化されてしまう。そこで，この内部領域を自動的に検出し穴埋めする手法を開発する。
3)小型昆虫（1cm程度）モデル生成技術の確立:今年度達成した手法は体長数センチの大型昆虫を想定したものである。より小型の昆虫に対応できるよう，CT撮影・写真撮影・領域分割ツールの洗練を行なう。これらの研究により得られた技術成果は学会発表し，また，構築した形状モデルはオープンデータベースのコンテンツとして適用・公開する。さらに，CT画像を分割して得られるボクセルデータおよびそれを処理するRoiPainter3Dを，3Dプリンタ普及のためのプラットホームとして活用する予定である。
|
