• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

In-situ estimation of welding quality and visualization of basis for the decision by combining welding monitoring and deep learning

Research Project

Project/Area Number 21K03806
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 18020:Manufacturing and production engineering-related
Research InstitutionOsaka University

Principal Investigator

Nomura Kazufumi  大阪大学, 大学院工学研究科, 准教授 (90397729)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywordsアーク溶接 / モニタリング / 溶込み深さ / AI / CNN / 機械学習 / 判断根拠の可視化 / その場計測 / 溶接品質 / 欠陥推定 / 非破壊
Outline of Research at the Start

溶接施工において溶込み深さや内部欠陥の有無といった溶接品質は,様々な外乱のために完全な保証が出来ておらず,また施工後の外観からは判断できないため,一般的には後工程による検査が必要となる.本研究は,溶接中に溶融池およびその周辺の視覚的な情報を取得し,その画像情報から溶接品質を推定・予測するものであり,欠陥のその場計測や品質の安定化が期待できる.手法としては画像と品質の相関を取るための機械学習モデルの構築ならびにその判断根拠の可視化を基盤とし,モデルの発展と適用範囲の拡充を通して溶接品質の制御まで視野に入れた研究を行う.

Outline of Final Research Achievements

Robotic arc welding, a process used in various industrial fields, often encounters challenges unstable welding quality due to disturbances such as the gap fluctuation between the base materials and the misalignment of the wire target position. In response to these issues, we have developed a CNN-based machine learning model that estimates penetration depth from monitoring images of the welding phenomenon. Our model has been effective, but it also has its limitations, including being black-boxed and having low estimation accuracy in certain areas. In this study,we have visualized the basis for decision to identify important areas in the input image and clarify the physical relationship with the welding phenomenon. Moreover, we constructed an improved estimation model by shifting the input-output relationship.

Academic Significance and Societal Importance of the Research Achievements

昨今の機械学習は画像との相性が非常に高く溶接分野においても応用があり,画像から人の目でわかる特徴点を算出する操作を自動化したものが少なくない.本研究は,溶融池モニタリング結果を直接溶接品質と相関させ,重要な特徴量を可視化する手法の提案とその評価をしたものである.これは,人の目では一見わからない職人技能の可視化であり,真の自動化のためには必須であるといえる.一見してBlack Box化したAI応用技術であっても,物理的な溶接現象を反映したものであることが可視化され,更に入出力関係を吟味することで精度の高いモデルが構築できることを示すことができたことは学術的にも工学的にも非常に意義深いと言える.

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (12 results)

All 2024 2023 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (11 results) (of which Int'l Joint Research: 2 results,  Invited: 2 results)

  • [Journal Article] Study on Weld Depth Estimation by Molten Pool Monitoring and Deep Learning Model in MAG Welding Process2021

    • Author(s)
      野村 和史,松村 匠,浅井 知
    • Journal Title

      JOURNAL OF THE JAPAN WELDING SOCIETY

      Volume: 90 Issue: 8 Pages: 551-555

    • DOI

      10.2207/jjws.90.551

    • NAID

      130008131148

    • ISSN
      0021-4787, 1883-7204
    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] 溶融池モニタリング画像とAIを用いた溶込み推定手法に関する研究2024

    • Author(s)
      野村 和史
    • Organizer
      (一社)日本溶接協会 2023年度ロボット溶接研究委員会第3回本委員会
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] I型開先ウィービング溶接における畳み込みニューラルネットワークを用いた溶接品質推定2023

    • Author(s)
      太田 涼太, 野村 和史,天野 昌春, 森 浩樹, 井村 文哉, 望月 正人
    • Organizer
      溶接学会R5年度秋季全国大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 溶接プロセスにおけるAI活用事例と今後の展望2023

    • Author(s)
      野村 和史
    • Organizer
      溶接学会R5年度秋季全国大会
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] Time-shift Effects of Input Images in Weld Depth Estimation Model using CNN through Molten Pool Monitoring in GMAW2023

    • Author(s)
      K. Nomura, W. Tanahara, T. Matsumura, T. Sano
    • Organizer
      iiw2023 Annual Assembly
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層学習を用いた鋼床版Uリブ溶接部溶込み深さ推定法の検討2023

    • Author(s)
      藤原 康平,津山 忠久,小谷 祐樹, 野村 和史, 棚原 渉
    • Organizer
      溶接学会R5年度春季全国大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 深層学習を用いた鋼床版Uリブ溶込み深さ推定法の検討2022

    • Author(s)
      小谷 祐樹,津山 忠久,藤原 康平, 野村 和史, 棚原 渉
    • Organizer
      第260回溶接法研究委員会
    • Related Report
      2022 Research-status Report
  • [Presentation] 機械学習を用いた溶込み深さ推定モデルにおける入力画像の時間シフト効果と溶融現象に関する考察2022

    • Author(s)
      棚原 渉, 野村 和史, 松村 匠, 佐野 智一
    • Organizer
      溶接学会R4年度秋季全国大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Weld Depth Estimation and Its Visualization of Judgement Basis by CNN Model through Molten Pool Monitoring in GMAW2022

    • Author(s)
      W. Tanahara, T. Matsumura, K. Nomura, T. Sano, S. Asai
    • Organizer
      IIW2022 Annual Assembly and International Conference on Welding and Joining
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 溶融池インプロセス計測×AIによる溶込み深さ推定手法に関する研究2022

    • Author(s)
      野村 和史,松村 匠,棚原 歩,佐野 智一,浅井 知
    • Organizer
      溶接学会第239回溶接構造研究委員会
    • Related Report
      2021 Research-status Report
  • [Presentation] 溶融池モニタリングにおける深層学習を用いた溶込み推定に関する研究 第三報2021

    • Author(s)
      野村 和史,松村 匠,佐野 智一
    • Organizer
      溶接学会R3年度春季全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 溶融池モニタリングと深層学習を用いた 溶込み深さ推定法に関する研究2021

    • Author(s)
      野村 和史, 松村 匠, 棚原 歩, 佐野 智一, 浅井 知, 津山 忠久, 小谷 祐樹, 藤原 康平
    • Organizer
      溶接学会第255回溶接法研究委員会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi