| Project/Area Number |
23K24965
|
|---|
| Project/Area Number (Other) |
22H03710 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
井尻 敬 芝浦工業大学, 工学部, 教授 (30550347)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
小檜山 賢二 慶應義塾大学, 政策・メディア研究科(藤沢), 名誉教授 (00306888)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥10,530,000 (Direct Cost: ¥8,100,000、Indirect Cost: ¥2,430,000)
Fiscal Year 2024: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
|
|---|
| Keywords | フォトグラメトリ / 昆虫標本 / 3次元モデリング / テクスチャ復元 / 質感復元 |
|---|
| Outline of Research at the Start |
昆虫標本は、文化・教育・科学において高い価値を持つものの、保存や実物へのアクセスにコストがかかるという課題が存在する。そのため、昆虫標本の計測に基づくデジタルデータ化手法の実現は重要な課題であり、写真計測に基づく形状復元法（フォトグラメトリ法）の開発・普及が進んでいる。しかし『昆虫の翅や脚のような薄く細い形状の復元』『光沢表面の反射特性・微細凹凸の復元』は依然として難しい課題である．そこで本研究では，既存のフォトグラメトリ法で用いられる多視点写真に『フォーカスブラケット撮影』や『多光源環境撮影』を統合し，昆虫の詳細形状・反射特性・微細凹凸を復元できる新たな小型標本の3次元復元法の実現を目指す。
|
| Outline of Annual Research Achievements |
本研究は、多様な価値を持つ昆虫標本を対象として、その計測に基づくデジタルデータ化手法の確立を目指すものである。本研究では、次の３件のサブ課題に取り組む予定である。（課題A）多視点深度合成写真による昆虫詳細形状の高精度フォトグラメトリ、（課題B）多視点・多光源フォーカスブラケット撮影による反射特性と微細凹凸の推定、（課題C）3次元モデル群構築とデジタル図鑑の公開．
22年度は、全サブ課題の基盤となる「撮影ステージの構築」と「撮影・深度合成・形状復元を自動化するソフトウエアの実装」を行った。加えて、実装した手法により作成したホウセキゾウムシのモデル群を公開した（www.igl.ise.shibaura-it.ac.jp/projects/2022_euphlusmodels.html）。一連の成果を、日本画像学会誌と情報処理学会誌にて解説記事として発表した。
23年度は、形状モデリング手法の開発に取り掛かった。課題Aについて、多視点よりフォーカスブラケット撮影した写真軍について、全視点に一貫した位置合わせを実施するキャリブレーション手法を開発し、現在国際会議に投稿中である。課題Bについて、線上光源化で多視点フォーカスブラケット撮影した写真群に対して微分可能レンダリングを適用することで表面反射特性を計測する手法がほぼ実現できており、論文投稿を計画している。加えて、形状を復元することなくレンダリング結果を取得可能なNeRF（Neural Radiance Field）を、昆虫標本に応用した手法を国際会議にて発表しbest short paper awardの受賞に至った。また、本研究に関連する微分可能レンダリングを用いたモデリングおよびレンダリングの研究を実施し、国内学会にて成果発表を行った。一部成果については現在国際会議に投稿中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究全体にかかわる進捗として『撮影ステージの構築』『撮影・深度合成・フォトグラメトリの自動化ソフトウエア』は22年度に実施済みである。これにより、課題Aおよび課題Bに必要なデータ取得環境を実現できており、23年度は、課題Aと課題Bに関する手法開発に注力した。
課題Aについて：微小昆虫標本を多視点フォーカスブラケット撮影し形状復元する従来法には、視点毎に異なる写真位置合わせが適用されるため復元精度が悪いという課題がある。この問題を解決する手法を開発し、成果を国際会議へ投稿中である。並行して、薄い構造・細い構造を持つ昆虫標本について、写真データから点群を取得し、点群を領域分割した後、翅や脚等にテンプレートフィッティングを施す手法を開発中である。この課題についてはアルゴリズム開発が8割程度終了している。
課題Bについて：線上光源環境にて撮影を行うことで、拡散色・鏡面反射色・表面粗さを推定する手法を構築し、微分可能レンダリングを適用することで精度向上をほぼ実現できている。今年度、なるべく早く評価実験を実施し、論文投稿を目指す。一方、形状・テクスチャを陽的に復元することなくNeural Networkで表現するNeRFも標本のデジタルデータ表現の有力な候補である。そこで、多視点フォーカスブラケット写真群とNeRFを統合することで、後からフォーカスを変化させられるNeRF表現を開発し国際会議にて発表した。今年度も引き続き、陽的なメッシュ表現以外の表現手法について模索する予定である。加えて、本研究に関連する微分可能レンダリングをモデリングや質感再現に応用する研究も実施し、複数の発表賞受賞に至った。
課題Cについて：課題A・Bの進捗があり次第、これらを用いて制作したモデル群を公開する予定である。
|
| Strategy for Future Research Activity |
研究課題全体として、当初の計画通り課題A・課題Bに注力できている。課題Aのひとつのテーマであるテンプレートフィッティングによる薄い・細い構造の復元手法のみ若干の遅れがあったため、作業時間を増やすことですでに対応を図り、現在（5月時点）までに、ほぼ遅れを取り戻せている。これ以外のテーマについては、進捗はおおむね順調であり、昆虫標本のNeRF表現や微分可能レンダリング関連のテーマについても取り組めている。最終年度となる今年度は、実現済みの成果を評価・発表・公開するタスクに重点を置いて活動を行う予定である。本研究課題は、3研究機関の研究者が共同で実施するものである。これまで通り、随時オンラインミーティングや対面ミーティングを行い、進捗を確認しながら各課題を遂行する予定である。
|
