| Project/Area Number |
21K11903
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60080:Database-related
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古屋 貴彦 山梨大学, 大学院総合研究部, 准教授 (00770835)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 3D shape analysis / multimodal retrieval / computer vision / deep learning / self-supervised learning / feature representation / transformer / マルチメディア検索 / 3次元形状解析 / 3次元形状類似比較 / ディープラーニング / 教師無し学習 / 自己教師あり学習 / 3次元点群解析 / 3次元点群形状再構成 / 3次元形状類似検索 / 3次元点群トランスフォーマー / 深層学習 / 3次元形状検索 / トランスフォーマー / 拡散距離 / 部分3D形状検索 / 3D形状比較 / マルチモーダルクエリ / 機械学習 |
|---|
| Outline of Research at the Start |
本課題では，多モードの検索要求(クエリ)により統合的・探索的・反復的に検索をする部分3次元(3D)形状検索技術(P3DSR)を目指す．検索の過程で適宜に言語，3次元(3D)形状，手書きスケッチ，などの複数モードのクエリを使い分けることで使いやすさが向上する．クエリの3D形状が検索対象の部分または全体の3D形状と類似した3D形状を検索するP3DSRの主要課題は，(1) 部分と全体の比較が困難である， (2) クエリのモードが（主に部分3D形状に）限られて使いにくい，の2点である．本課題では，(1)を部分・全体の対応を連想するニューラルネットワークにより，(2)を多モードの3D形状特徴群を共通特徴空間に埋め込みにより，それぞれ解決を試みる.
|
| Outline of Final Research Achievements |
3D shape data is utilized in diverse fields such as industrial product design, visual content creation, infrastructure (e.g., roads) maintenance, and medical image diagnosis. The goal of this research is an integrated, exploratory, and iterative approach toward effective and efficient part/whole shape retrieval for effective and efficient management of 3D shape data. Toward this goal, new methods were proposed and evaluated to address the following two sub-problems: (1) 3D rotation-invariant 3D shape feature extraction using unsupervised or self-supervised learning, and (2) 3D shape reconstruction method robust against input noise, missing parts, or locally variable sampling resolution.
|
| Academic Significance and Societal Importance of the Research Achievements |
社会的意義は，急速に利用が広がる3D形状データの解析，検索，識別などに欠かせない形状特徴を抽出するより良い手法を提案したことである．学術的な注目点は，（1）教師無し学習ないし自己教師あり学習に基づく，(2) 3次元回転に対し一定の不変性を持つ，である．ラベル付き3D形状データはその数が少なく，また多様性も限られる．そのため，特徴の学習においてラベルが不要の教師無し学習ないし自己教師あり学習が必須である．また，3D形状特徴には3軸周りの回転への不変性を要求される場合が多い．我々が提案した[ XX]は，世界で初めて，回転不変な3D点群形状特徴の自己教師あり学習による獲得に成功した．
|
