| 研究課題/領域番号 |
21K11903
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60080:データベース関連
|
|---|
| 研究機関 | 山梨大学 |
|---|
研究代表者 |
大渕 竜太郎 山梨大学, 大学院総合研究部, 教授 (80313782)
|
|---|
| 研究分担者 |
古屋 貴彦 山梨大学, 大学院総合研究部, 助教 (00770835)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
|---|
| キーワード | 3次元点群解析 / 3次元点群形状再構成 / 3次元形状類似検索 / 自己教師あり学習 / 3次元点群トランスフォーマー / 深層学習 / 3次元形状検索 / トランスフォーマー / 拡散距離 / 教師無し学習 / 部分3D形状検索 / マルチメディア検索 / 3D形状比較 / マルチモーダルクエリ / 機械学習 |
|---|
| 研究開始時の研究の概要 |
本課題では，多モードの検索要求(クエリ)により統合的・探索的・反復的に検索をする部分3次元(3D)形状検索技術(P3DSR)を目指す．検索の過程で適宜に言語，3次元(3D)形状，手書きスケッチ，などの複数モードのクエリを使い分けることで使いやすさが向上する．クエリの3D形状が検索対象の部分または全体の3D形状と類似した3D形状を検索するP3DSRの主要課題は，(1) 部分と全体の比較が困難である， (2) クエリのモードが（主に部分3D形状に）限られて使いにくい，の2点である．本課題では，(1)を部分・全体の対応を連想するニューラルネットワークにより，(2)を多モードの3D形状特徴群を共通特徴空間に埋め込みにより，それぞれ解決を試みる.
|
| 研究実績の概要 |
本年度は，昨年度に引き続き，3D形状検索の基盤となる3次元（3D）形状の解析及び3D形状特徴の獲得方法について以下の3つのアプローチから研究を行った．
(1)３D点群形状再構成エンコーダDNN：潜在特徴から高精度な3D形状を再構成するデコーダDNNを提案し評価した．提案した手法は，3D空間および高次元の特徴空間において多数のパッチを生成し，これらパッチを変形して融合することで3D形状を高精度に再構成する．3D形状から潜在特徴空間の特徴ベクトルへのエンコーダDNNを自己教師あり学習する場合，しばしば，これを潜在特徴空間の特徴ベクトルから3D形状へのデコーダDNNと対にして学習を行う．その場合，高精度に３D形状再構成を行うデコーダを用いることで，より高精度な3D形状エンコーダの学習が可能となる．（研究発表1，採録）
(2) トランスフォーマDNNによる3D点群解析：トランスフォーマによる高精度かつ回転不変な3D点群形状特徴取得をめざし，昨年度に引き続き研究を行った．改良を加えた結果，回転不変に3D点群を解析する手法としては既存手法と比較して最高の精度を達成した．（研究発表2，査読中）
(3) 検索向けの3D形状特徴教師無し学習：類似検索に有用な形状間類似度を得られるような，連続かつなめらかな形状特徴空間を教師無しで学習することを目指し，深層学習で得た特徴の多様体上で拡散によるスムージングを行うDeepDiffusion法を提案し評価した．3D形状モデルおよび2D画像の異種データについて複数のデータセットを用いて実験的評価を行った結果，提案手法により取得した形状特徴は既存手法より高い検索精度を与えることが分かった．（研究発表3，採録）
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本課題の狙いは，多モードの検索要求（クエリ）により統合的・探索的・反復的に部分検索を行う多モード3次元（3D）形状検索技術である．その特徴は，人からみた使いやすさを目指し，漸近的に進める検索の進展に応じ，言語，3次元（3D）形状，手書きスケッチ，などの複数のモードで表現されるクエリを使い分けて検索を進めることである．中核となる2つの技術として，部分形状・全体形状の対応を連想するための深層ニューラルネットワーク（DNN），および，3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込み，が有る．
今年度は，これらの中で，自己教師あり学習のための3D点群形状デコーダ，トランスフォーマによる3D形状特徴の取得，検索向けの特徴を取得，に注目して研究を行った．
反面，部分形状・全体形状の効果的かつ効率的な連想比較手法，および3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込みについては，具体的な進展はなかった．
|
| 今後の研究の推進方策 |
本研究の狙いを実現するための中核となる2つの技術として，(1) 部分形状・全体形状の対応を連想するための深層ニューラルネットワーク（DNN），および，(2) 3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込み，がある．
＊検索向け3次元形状特徴の取得：上記の中核となる技術(1)(2)のいずれについても，高精度かつ高効率な検索向け3D形状特徴が必要であり，その研究は継続する．特に，自己教師あり学習による 3D形状特徴の表現学習に重点をおいて研究を進める．
＊多モード3D形状特徴群の検索向け共通特徴空間への埋め込み：2022年から2023年にかけ，大規模言語モデル（LLM）をファウンデーションモデルとして用い，言語，画像，音声，等を統一的に特徴空間に埋め込む方法が非常に急速に進展した．例えば，DALL-E2などのように言語プロンプトで画像を生成する手法，言語での会話的やり取りを行うChatGPT，等がその代表である．我々も，LLMをベースとし，これに画像，テキスト，3D形状などを共通特徴空間に埋め込んで相互に比較，連想，等する手法の検討を行う予定である．
|
