| 研究課題/領域番号 |
21K11903
|
|---|
| 研究機関 | 山梨大学 |
|---|
研究代表者 |
大渕 竜太郎 山梨大学, 大学院総合研究部, 教授 (80313782)
|
|---|
| 研究分担者 |
古屋 貴彦 山梨大学, 大学院総合研究部, 助教 (00770835)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 3次元形状検索 / 3次元点群解析 / トランスフォーマー / 拡散距離 / 教師無し学習 / 深層学習 |
|---|
| 研究実績の概要 |
本年度は，主に，3D形状検索の基盤となる3次元（3D）形状の解析及び3D形状特徴の獲得方法について以下の2つのアプローチから研究を行った．
(1) トランスフォーマー（transformer）型深層学習の3D点群への適用：トランスフォーマーDNNは現在の自然言語処理分野で主流である．同手法はまた2次元(2D)画像の深層学習手法として注目されている．我々は，トランスフォーマーによる高精度かつ回転不変な3D点群形状特徴取得をめざし，研究を行った（研究発表１）．トランスフォーマーは，畳み込みDNNと比較し，学習により多くのデータを要する傾向があるが，これはデータセットのサイズと種類が限られる3D形状解析において困難な課題である．
(2) 検索向け3D形状特徴の教師無し深層学習：3D形状の特徴取得を機械学習する際にこれまで用いられてきたのは教師あり学習，教師無し（自己教師あり）学習のいずれにおいても，「識別」の成否を評価尺度とした手法である．しかし，識別に適する特徴が検索に適するとは限らない．例えば，識別の観点からは，有るラベル無しデータに対し，同一ラベルを持つ複数のデータは等しく「1/０」の離散的識別誤差を持つ．しかし，検索の観点からは，検索要求とこれら複数データの「類似度（または相違度）」は連続値で異なる場合が多い．提案するDeepDiffusion法では，検索に有用な形状特徴の教師無し深層学習での取得を目指し，深層学習で得た特徴の多様体上で拡散によるスムージングを導入した．大まかに言って，拡散は，学習データ点から離散的に学習された距離空間を「連続かつなめらか」にする働きがある．3D形状モデルおよび2D画像の異種データについて複数のデータセットを用いて実験的評価を行った結果，提案手法により取得した形状特徴は既存手法より高い検索精度を与えることが分かった（研究発表２，査読中）．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本課題の狙いは，多モードの検索要求（クエリ）により統合的・探索的・反復的に部分検索を行う多モード3次元（3D）形状検索技術である．その特徴は，人からみた使いやすさを目指し，漸近的に進める検索の進展に応じ，言語，3次元（3D）形状，手書きスケッチ，などの複数のモードで表現されるクエリを使い分けて検索を進めることである．中核となる2つの技術として，部分形状・全体形状の対応を連想するための深層ニューラルネットワーク（DNN），および，3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込み，が有る．
今年度は，これらの中で，部分形状・全体形状の対応の連想，および3D形状モデルや単語などの多モードの3D形状特徴群を相互比較，の双方にとって重要である3D形状特徴の取得，特に検索向けの特徴を取得する方法に注目して研究を行った．これまで試みてきた3D畳み込み，グラフ畳み込み，に加えトランスフォーマーによる3D形状取得を試みた．また，識別ではなく検索の精度に注目したDeepDiffusion法を提案し評価した．DeepDiffusion法は3D形状のみならず2D画像データについても効果が有ることが実験的に示された．
反面，部分形状・全体形状の効果的かつ効率的な連想比較手法について進展は無かった．
|
| 今後の研究の推進方策 |
本研究の狙いを実現するための中核となる2つの技術として，(1) 部分形状・全体形状の対応を連想するための深層ニューラルネットワーク（DNN），および，(2) 3D形状モデルや単語などの多モードの3D形状特徴群を相互比較するためのDNNによる共通特徴空間への埋め込み，がある．今後，これらについて，以下のような研究を進める予定である．
＊検索向け3次元形状特徴の取得：上記の中核となる技術(1)(2)のいずれについても，高精度かつ高効率な検索向け3D形状特徴が必要であり，その研究は継続する．また，データセットのサイズと種類が限られている3D形状特徴の表現学習において，教師無し（自己教師あり）学習手法の研究は特に重要であり，これも継続する．
＊部分形状・全体形状の対応の連想：次年度以後，これまでに開発した3D形状特徴取得手法を元に，部分形状・全体形状の対応の連想手法について研究を進める．
＊多モード3D形状特徴群の検索向け共通特徴空間への埋め込み：画像，テキスト，3D形状などの多モードデータの特徴を検索向けの共通特徴空間に埋め込む技術は既に他の研究者により開発された様々な技術が応用できる．これらにDeepDiffusionで試行した拡散による特徴空間のスムージングを追加することで検索向けの多モードデータ共通特徴空間を構成する手法を研究する
|
