2018 Fiscal Year Annual Research Report
Automation Sytem for Modelling 3D Data of Insects with High-Resolution Textures
| Project/Area Number |
17H01848
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
田中 浩也 慶應義塾大学, 環境情報学部(藤沢), 教授 (00372574)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小檜山 賢二 慶應義塾大学, 政策・メディア研究科(藤沢), 名誉教授 (00306888)
井尻 敬 芝浦工業大学, 工学部, 准教授 (30550347)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 昆虫 / 3Dデータ / カラーテクスチャー / CTスキャン / デジタルアーカイブズ |
|---|
| Outline of Annual Research Achievements |
本研究は，微小オブジェクト（5ミリ～数センチ）を対象とし，計測に基づくテクスチャ付き3Dモデルの自動生成手法の確立を目指すものである。本研究では，(課題A)既存ソフトウエアを活用しながら3次元モデルの自動構築法を確立し3次元モデルライブラリを構築する課題と，(課題B)より精度の高い3次元モデル構築法の実現を目指す課題という2方向の研究を同時に遂行している。前者は，従来法では人的な作業コストが壁になり3Dモデルの普及が進まない状況の改善に資する。一方，後者を推進することで，既存手法では扱いにくい微小オブジェクトの3Dモデルを高精度に再構築することが可能となる。
初年度は主に，CT・写真撮影環境の構築，既存ソフトウエアを組み合わせによる3次元モデル構築法の確立（課題A）に取り組み，高精細な昆虫3次元モデル構築法をある程度のレベルで実現した。2年目となる本年度の主な取り組みと成果は以下の通りである。
(課題A)確立した技術を利用し，６０体程度の昆虫形状モデル構築を行った。今後は研究成果の社会還元のため，手法と共にモデル群も公開する予定である。加えて，構築したモデルを自由に観察できるアプリケーションを用意し，国立科学博物館にて実施された特別展『昆虫』において展示した。
(課題B1)本研究において最も作業時間がかかるのはCT画像の領域分割である。この作業を簡便化するため，2値化済みCT画像をくびれにより意味的に領域分割する手法を提案した。成果は国内論文誌にて発表した。
(課題B2)パースの失われにくい深度合成法を提案した。この手法では，カメラ-被写体間の距離が既知であり，被写体が平面的であると仮定することで，パースの変化を起こさずに写真群を位置合わせし，その後深度合成を行う。この手法を用いて昆虫のテクスチャ付き形状モデル生成を行い，成果を国際会議にて発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の主な進捗は以下のとおりである。
● 3次元モデルの構築と公開：昆虫標本をCTおよびカメラにて撮影し，得られたデータを既存の深度合成ソフトウエアおよびステレオ合成ソフトウエアにて処理することで3次元モデル化するプロセスを確立し，これを利用して６０体のモデル構築を行った。さらに，自由に3Dモデルを観察できるアプリケーションを用意し，国立科学博物館にて実施された特別展「昆虫」にて，本科研費プロジェクトの成果として展示した。この特別展には約45万人が来場した。
● CT画像処理ツールの拡張：我々が対象とする昆虫標本は，内部に空気を含む領域を持ち，この領域は複数の穴により外界とつながっている。CT画像から3次元モデルを構築する際，この疑似的な中空領域を分割する必要があり，多大な手間を要する。我々は，2値化済み3次元画像におけるくびれ形状を利用して2値画像を意味的に領域分割する手法を確立し，これにより疑似的な中空領域を自動分割できることを示した。成果は論文誌発表済みである。
●パースの失われにくい深度合成法の開発：一般的な深度合成ソフトウエアでは，フォーカスの異なる写真群に対し射影変換による位置合わせが適用される。これにより生成される深度合成画像ではパースが失われるという問題が生じる。そこで，被写体が平面状であると仮定することで拡大縮小・平行移動のみで位置合わせできるモデルを確立し，パースの失われにくい深度合成手法を実現した。
●写真撮影環境の再構築：深度合成を行う際，カメラを物理的に前後に移動していたがこの方法はぶれが大きく，かつ，長い撮影時間を要する。そこで年度の後半に，カメラのフォーカスを自動的に変更しながら複数の写真を自動撮影する撮影環境を構築した。これにより36視点からのフォーカス写真（各視点４０枚：撮影後深度合成画像を生成）を，15分程度で撮影可能となった。
|
| Strategy for Future Research Activity |
これまでに得られたこれらの結果を基にして，2019年度は以下を実施する予定である。
● 昆虫CT画像処理の大幅な自動化とソフトウエアの公開：小型オブジェクトの三次元再構成において，最も作業の手間を要するのはCT画像の領域分割である。上記のくびれによる意味的領域分割手法をソフトウエアRoiPainter3Dに統合するなどして，作業効率の向上を目指す。また，RoiPainter3Dはオープンソースとして公開しており，この拡張についてもオープンソース化する予定である。
●深度画像を利用した精密な深度合成法の実現：既存の深度合成法は，最大コントラスト等を利用してピントの合った画素を選択するか，画像ピラミッドを利用して最もエッジが強く残るように画像を合成するかのどちらかである。しかし，これらの手法は，常に正しい画素を選択できないという課題や，低周波領域におけるエッジの周囲でアーティファクトを生じるという課題がある。そこで，CTより構築した形状モデルを活用し，深度合成の際に正確な深度画像を生成することで，深度合成の際に正確な画素選択を行える手法を実現する。
● 3Dプリンタ出力するための形状モデルの修正：本研究が対象とする昆虫は細い形状や薄い形状を併せ持つ．これを3次元プリンタ出力するための技術開発を行う。
●可視化環境の提供とモデルの公開：成果物である昆虫3次元モデルを観察しやすい可視化手法を開発する。また，５０種程度のホウセキゾウムシを3Dモデル化しそのモデルをweb上で公開する予定である。
|
