• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

One-shot self-supervised learning for high quality 3D shape scanning

Research Project

Project/Area Number 22K17907
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionHitotsubashi University

Principal Investigator

谷田川 達也  一橋大学, ソーシャル・データサイエンス教育研究推進センター, 准教授 (50817484)

Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords三次元形状処理 / 三次元スキャン / 機械学習 / 自己教師付き学習 / 単一ショット学習 / 深層学習 / 幾何形状処理
Outline of Research at the Start

本研究課題は、三次元スキャンにより得られる点群データを実応用する際に必要となる、データ補正、位置合わせ、ポリゴン化のそれぞれについて、単一の形状データだけを入力にした自己教師あり学習法の確立を目指す。特に、研究代表者らの従来研究において、教師データを用いて実施していたこれらの目的について、できる限り少ない情報、理想的には単一の入力データから有益な特徴を抽出するための方法論を明らかにする。

Outline of Annual Research Achievements

令和4年度 (以下、本年度)は、① X線CT装置による三次元ボリューム取得手法の改善、ならびに②光学式の3Dスキャナ等で取得された表面メッシュデータから後処理によってノイズを除去するための機械学習法について研究を実施した。

X線CT装置による三次元形状データの取得においては、少数投影像から大規模な三次元CT像を効率的に再構成する深層学習手法を開発した。提案法は、三次元CTボリューム内の短い棒状領域を、その領域が検出器に投影された際の軌跡上にある画素の強度を用いて再構成する。これにより、三次元ボリュームを一度に再構成する必要がなくなり、ニューラルネットが使用するメモリ量を大幅に削減できる。本手法は、単一のCT画像を得るのに必要な1000枚程度の投影像のみから抽出したトレーニングデータだけを用いて、人工的な実験データと実データの両方に対して効果的に動作することが示された。これに加え、X線CT画像のコントラスト低下の一因であるX線の散乱を半教師付き学習により補正する技術も合わせて研究した。本手法は、半教師付き学習法でありながらも、散乱除去機構を持つCT装置による撮像を一度行えば、学習に十分な訓練データを得ることができ、高品質CT画像取得に大きく寄与することが期待される。

また、表面メッシュのノイズの除去に関する研究では、本研究の目的とする、単一の入力からの自己教師付き学習によるノイズ除去手法を提案した。提案法では、頂点位置と面法線の両者からノイズを除去するための二つのグラフ畳み込みネットワークを同期的に学習させることで、特に機械部品などに多く見られる、エッジやコーナーの形状を正確に復元することに成功している。本研究課題の目的通り、この成果では、不完全な入力のみから表面形状を高品質化していながら、従来の学習データを大量に必要とする深層学習法に迫る性能を得ることに成功している。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本年度の研究では、三次元形状を得るための一手法としてのX線CT撮像に関わる研究、ならびに得られた形状データの高品質化に関わる研究において十分な成果を挙げることができた。特に、前者のX線CT撮像に関わる研究では、CT像の再構成に必要な1セット分の投影像だけを用いるという学習データ量の少なさに重点を置いて研究を実施し、少数投影像からの再構成と散乱除去というX線CT分野における重要課題に一定の成果を残すことができた。また、形状データの高品質化についても、これまでの多くの訓練データを必要とする深層学習法に匹敵するノイズ除去性能を、ノイズ付きの単一メッシュのみから実現するという快挙を成し遂げることができた。この点で、本研究計画は予想以上に順調に進行していると言って良い。また、当初予定していた光学式の3Dスキャナから得られる点群の処理についても、いくつかの深層学習法を検討しており、現状、大きな成果を得るには至っていないものの、国内シンポジウム等で、その成果を発表することができた。

Strategy for Future Research Activity

今後は、当初の目的にあった三次元形状計測の高度化について、特に得られた形状データに不可避的に生じる欠損の補完や、光学式スキャンにより得られた形状点群情報の効率的な統合手法について引き続き研究を実施していく。これに加え、本年度の研究が一定以上の成果を挙げられたことで、当該の自己教師付き学習手法や、単一入力からの機械学習法を、より幅広い研究・技術領域に展開できる可能性を感じている。例えば、得られた三次元形状データを実際の物理シミュレーションに使用する際にも、同様の機械学習法により、これまで厳密な物理的性質の保証のために必要だった大量の計算時間を削減するなどの可能性も考えられる。また、現状、単一の入力から自己事前知識としての形状特徴を抜き出すことにはある程度成功しているものの、用いるニューラルネットの構造によって結果が大きく変化することが分かっており、ネットワーク構造と得られる特徴量の関係についても、より深い研究の必要性を感じている。

Report

(1 results)
  • 2022 Research-status Report
  • Research Products

    (9 results)

All 2023 2022 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (5 results) (of which Int'l Joint Research: 1 results) Remarks (2 results)

  • [Journal Article] Sparse-View Cone-Beam CT Reconstruction by Bar-by-Bar Neural FDK Algorithm2023

    • Author(s)
      Wang Siqi、Yatagawa Tatsuya、Ohtake Yutaka、Suzuki Hiromasa
    • Journal Title

      Nondestructive Testing and Evaluation

      Volume: 未定 Issue: 2 Pages: 1-23

    • DOI

      10.1080/10589759.2023.2195646

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Learning Self-prior for Mesh Denoising Using Dual Graph Convolutional Networks2022

    • Author(s)
      Hattori Shota、Yatagawa Tatsuya、Ohtake Yutaka、Suzuki Hiromasa
    • Journal Title

      Lecture Notes in Computer Science (Proceedings of the European Conference on Computer Vision 2022)

      Volume: 13663 Pages: 363-379

    • DOI

      10.1007/978-3-031-20062-5_21

    • ISBN
      9783031200618, 9783031200625
    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] X-Ray Scatter Correction by Deep Semi-supervised Learning of Simulated Projections with Beam-hole Array2023

    • Author(s)
      Haruki Hattori, Tatsuya Yatagawa, Yutaka Ohtake, Hiromasa Suzuki
    • Organizer
      12th International Conference on Industrial Computed Tomography
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] クロスシミュレーションのための深層学習に基づく部分空間Projective Dynamics2022

    • Author(s)
      田中 瑞城, 谷田川 達也, 森島 繁生
    • Organizer
      Visual Computing 2022
    • Related Report
      2022 Research-status Report
  • [Presentation] デュアルグラフ畳み込みネットワークを用いた自己教師あり学習によるメッシュノイズ除去法2022

    • Author(s)
      服部 翔太, 谷田川 達也, 大竹 豊, 鈴木 宏正
    • Organizer
      精密工学会 秋季大会学術講演
    • Related Report
      2022 Research-status Report
  • [Presentation] ガウス混合分布に基づく深層点群位置合わせ法の改善に向けたアテンションおよびマスク機構の検討2022

    • Author(s)
      吉川 瑞紀, 谷田川 達也, 大竹 豊, 鈴木 宏正
    • Organizer
      第25回 画像の認識・理解シンポジウム
    • Related Report
      2022 Research-status Report
  • [Presentation] エネルギー最小化関数の解析的な勾配計算を用いた深層点対面点群整列法2022

    • Author(s)
      谷田川 達也, 大竹 豊, 鈴木 宏正
    • Organizer
      第25回 画像の認識・理解シンポジウム
    • Related Report
      2022 Research-status Report
  • [Remarks] ニューラルFDK法: ニューラルネットによる棒状領域ごと少数投影像からのコーンビームCT再構成

    • URL

      https://tatsylab.github.io/projects/siqi2023bbb/

    • Related Report
      2022 Research-status Report
  • [Remarks] 双対グラフ畳み込みニューラルネットワークによる自己事前分布学習を用いたメッシュノイズ除去法

    • URL

      https://tatsylab.github.io/projects/hattori2022ddmp/

    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi