詳細形状と反射特性を考慮した小型昆虫標本のためのフォトグラメトリ法
| Project/Area Number |
23K24965
|
|---|
| Project/Area Number (Other) |
22H03710 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
井尻 敬 芝浦工業大学, 工学部, 教授 (30550347)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
小檜山 賢二 慶應義塾大学, 政策・メディア研究科(藤沢), 名誉教授 (00306888)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000)
Fiscal Year 2024: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
|
|---|
| Keywords | フォトグラメトリ / 昆虫標本 / 3次元モデリング / テクスチャ復元 / 質感復元 |
|---|
| Outline of Research at the Start |
昆虫標本は、文化・教育・科学において高い価値を持つものの、保存や実物へのアクセスにコストがかかるという課題が存在する。そのため、昆虫標本の計測に基づくデジタルデータ化手法の実現は重要な課題であり、写真計測に基づく形状復元法（フォトグラメトリ法）の開発・普及が進んでいる。しかし『昆虫の翅や脚のような薄く細い形状の復元』『光沢表面の反射特性・微細凹凸の復元』は依然として難しい課題である．そこで本研究では，既存のフォトグラメトリ法で用いられる多視点写真に『フォーカスブラケット撮影』や『多光源環境撮影』を統合し，昆虫の詳細形状・反射特性・微細凹凸を復元できる新たな小型標本の3次元復元法の実現を目指す。
|
| Outline of Annual Research Achievements |
本研究は、多様な価値を持つ昆虫標本を対象として、その計測に基づくデジタルデータ化手法の確立を目指すものである。本研究では、次の３件のサブ課題に取り組む予定である。課題A: 多視点深度合成写真による昆虫詳細形状の高精度フォトグラメトリ。課題B: 多視点・多光源フォーカスブラケット撮影による反射特性と微細凹凸の推定。課題C: 3次元モデル群構築とデジタル図鑑の公開．
昨年度は、全サブ課題の基盤となる「撮影ステージの構築」と「既存手法の統合により撮影・深度合成・形状復元を自動化するソフトウエアの実装」を行った。この撮影装置とモデリング自動化の内容の一部を解説論文として発表するとともに、成果であるホウセキゾウムシの3次元モデル群をweb上に公開した（www.igl.ise.shibaura-it.ac.jp/projects/2022_euphlusmodels.html）。加えて、この自動化ソフトウエアにおける回転台の制御部分をオープンソースソフトウエアとして公開した（github.com/InteractiveGraphicsLab/StackShot3X_API_for_Python）．
続いて、課題Bの質感の再現に着手し、その成果の一部を国内会議にて発表した。提案手法では、光源と視点の位置が既知である状態で昆虫標本を複数回撮影する。続いて、得られた画像群から3次元モデルを構築した後、3次元モデル上の任意の点において光源が動いた際の反射率応答を取得し、これを用いて拡散色・鏡面反射色・表面粗さを推定する。また、我々は、3次元空間の色と不透明度をNeural Networkにより表現することで物体のレンダリングを可能にするNeural Radiance Field (NeRF)を昆虫標本へ応用する試みや、半透明物体のレンダリングに関数研究を実施し、その成果を国内学会にて報告した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究全体にかかわる進捗として、昨年度は課題全体の基礎となる撮影ステージの構築と自動化ソフトウエアの開発を実施した。この撮影ステージでは、中央に固定した昆虫標本を、仰角・方位角を回転させながら１～2台のカメラより撮影可能である。また、直線状の光源2本を特定の位置に配置できる。自動化ソフトウエアは、事前に設定した仰角・方位角にて撮影ステージの回転台を移動しながら昆虫標本を撮影し、その後、深度合成と形状復元を行うものである。この開発により、課題Aおよび課題Bの実施に必要なデータ取得環境を実現できたことになる。現在は、深度合成や形状復元に商用ソフトウエアを利用しており、今後、課題Aと課題Bの開発成果を統合する予定である。
課題Aについては、上記の撮影環境の構築が主な進捗である。今年度より、薄い構造・細い構造を持つ昆虫標本について写真データを収集し、高品質な形状復元を行う形状復元手法の開発に取り掛かる。
課題Bについては、上記の撮影環境の構築に加えて、既知の光源環境にて撮影を行うことで、拡散色・鏡面反射色・表面粗さを推定する手法を構築した。この初期段階の成果はすでに国内学会にて発表済みである。今後は、詳細な精度評価と推定手法の改善を実施する。とくに精度評価については、Computer Graphicsを利用して推定するパラメータが既知である正解データを作成し、これを利用する予定である。加えて、深層学習に基づくNeural Radiance Fieldを活用する研究や、多様な質感を持つ物体のレンダリング手法に関する研究も継続する。
課題Cについて、今回構築した撮影ステージ・自動化ソフトウエアによりホウセキゾウムシ16体分のモデルを構築し公開した。今後、課題A・Bの進捗があり次第これらを用いて制作したモデル群を公開する予定である。
|
| Strategy for Future Research Activity |
前述の通り、本研究課題全体の基礎となる撮影ステージと自動化ソフトウエアの開発が完了し、また、課題Bについては初期段階の成果が出始めている。進捗はおおむね順調であり、今年度は、課題Aと課題Bに注力する予定である。本研究課題は、3研究機関の研究者が共同で実施するものである。これまで通り、随時オンラインミーティングや対面ミーティングを行い、進捗を確認しながら各課題を遂行する予定である。
|
Report
(1 results)
Research Products
(6 results)
