2022 Fiscal Year Research-status Report
Part-based 3D shape retrieval using multi-modal query
| Project/Area Number |
21K11903
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
大渕 竜太郎 山梨大学, 大学院総合研究部, 教授 (80313782)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古屋 貴彦 山梨大学, 大学院総合研究部, 助教 (00770835)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 3次元点群解析 / 3次元点群形状再構成 / 3次元形状類似検索 / 自己教師あり学習 / 3次元点群トランスフォーマー / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本年度は，昨年度に引き続き，3D形状検索の基盤となる3次元（3D）形状の解析及び3D形状特徴の獲得方法について以下の3つのアプローチから研究を行った．
(1)３D点群形状再構成エンコーダDNN：潜在特徴から高精度な3D形状を再構成するデコーダDNNを提案し評価した．提案した手法は，3D空間および高次元の特徴空間において多数のパッチを生成し，これらパッチを変形して融合することで3D形状を高精度に再構成する．3D形状から潜在特徴空間の特徴ベクトルへのエンコーダDNNを自己教師あり学習する場合，しばしば，これを潜在特徴空間の特徴ベクトルから3D形状へのデコーダDNNと対にして学習を行う．その場合，高精度に３D形状再構成を行うデコーダを用いることで，より高精度な3D形状エンコーダの学習が可能となる．（研究発表1，採録）
(2) トランスフォーマDNNによる3D点群解析：トランスフォーマによる高精度かつ回転不変な3D点群形状特徴取得をめざし，昨年度に引き続き研究を行った．改良を加えた結果，回転不変に3D点群を解析する手法としては既存手法と比較して最高の精度を達成した．（研究発表2，査読中）
(3) 検索向けの3D形状特徴教師無し学習：類似検索に有用な形状間類似度を得られるような，連続かつなめらかな形状特徴空間を教師無しで学習することを目指し，深層学習で得た特徴の多様体上で拡散によるスムージングを行うDeepDiffusion法を提案し評価した．3D形状モデルおよび2D画像の異種データについて複数のデータセットを用いて実験的評価を行った結果，提案手法により取得した形状特徴は既存手法より高い検索精度を与えることが分かった．（研究発表3，採録）
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本課題の狙いは，多モードの検索要求（クエリ）により統合的・探索的・反復的に部分検索を行う多モード3次元（3D）形状検索技術である．その特徴は，人からみた使いやすさを目指し，漸近的に進める検索の進展に応じ，言語，3次元（3D）形状，手書きスケッチ，などの複数のモードで表現されるクエリを使い分けて検索を進めることである．中核となる2つの技術として，部分形状・全体形状の対応を連想するための深層ニューラルネットワーク（DNN），および，3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込み，が有る．
今年度は，これらの中で，自己教師あり学習のための3D点群形状デコーダ，トランスフォーマによる3D形状特徴の取得，検索向けの特徴を取得，に注目して研究を行った．
反面，部分形状・全体形状の効果的かつ効率的な連想比較手法，および3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込みについては，具体的な進展はなかった．
|
| Strategy for Future Research Activity |
本研究の狙いを実現するための中核となる2つの技術として，(1) 部分形状・全体形状の対応を連想するための深層ニューラルネットワーク（DNN），および，(2) 3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込み，がある．
＊検索向け3次元形状特徴の取得：上記の中核となる技術(1)(2)のいずれについても，高精度かつ高効率な検索向け3D形状特徴が必要であり，その研究は継続する．特に，自己教師あり学習による 3D形状特徴の表現学習に重点をおいて研究を進める．
＊多モード3D形状特徴群の検索向け共通特徴空間への埋め込み：2022年から2023年にかけ，大規模言語モデル（LLM）をファウンデーションモデルとして用い，言語，画像，音声，等を統一的に特徴空間に埋め込む方法が非常に急速に進展した．例えば，DALL-E2などのように言語プロンプトで画像を生成する手法，言語での会話的やり取りを行うChatGPT，等がその代表である．我々も，LLMをベースとし，これに画像，テキスト，3D形状などを共通特徴空間に埋め込んで相互に比較，連想，等する手法の検討を行う予定である．
|
