• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習および拡張現実を用いたマグ溶接技能支援システムに関する研究

研究課題

研究課題/領域番号 22K04709
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分26030:複合材料および界面関連
研究機関埼玉大学

研究代表者

山根 敏  埼玉大学, 理工学研究科, 教授 (10191363)

研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
キーワード溶接溶融池 / 深層学習 / Resnet50 / 畳み込みニューラルネットワーク(CNN) / 溶込み識別 / CMOSカメラ / キャリブレーション / リアルタイム計測 / アーク長 / 溶接トーチ / 近赤外線CMOSカメラ / HDR機能 / 溶接士支援 / 溶接溶融池観察 / 拡張現実
研究開始時の研究の概要

アーク溶接時にAI技術およびセンサ技術を活用し、熟練溶接士の技能の可視化を試みる。具体的には、1)実溶接における視覚センサ(CMOSカメラ)を用いた最適なアーク光および溶融池の撮影方法の確立、2)溶融状態、溶融池溶込み状態および溶接欠陥の推定方法の確立、3)若手溶接士へのリアルタイムのフィードバックを構築する。
ここでは、視覚情報の識別に強い深層学習(畳み込みニューラルネットワークCNN)によりアーク溶接時の溶接溶融池の状態を推定する。さらに、溶接中の溶接士自身が溶融池映像および処理結果を見れるようにする。これを行うことにより、技能伝承およびAI技術による溶接支援システムを構築する。

研究実績の概要

溶接中、強烈なアーク光の影響により、視覚カメラを用いて、溶融池だけを明瞭に観察することは困難である。このため、アーク光の影響を軽減できる近赤外線領域まで撮影可能なCMOSカメラおよび950nm以上の波長を通すロングパスフィルタを用い、溶融池を明瞭に撮影した。これを深層学習の入力とした。手動(半自動)溶接の場合、カメラは溶接トーチに固定しているので、作業者の手振れが生じると、学習用の溶融池画像を安定に取得できない。そこで、深層学習の手法確立、有効性および画像処理方法を検討するため、視覚センサを持つ簡易自動溶接機を構築した。ここでは、セラミック製バッキング材を用いたV開先の片面溶接において、溶融池状態識別のため、深層学習の一種である50層を持つResNet50を用いた。溶融池内のどの部分が識別精度に影響を与えるのかを検討し、この部分が強調されるような前処理方法を確立した。未学習の溶融池画像に対する識別率が従来の単純な画像を用いる方法と比較し、60%から88%に向上した。
これらを半自動溶接に適用する。溶接中の手振れなどにより、溶接トーチの高さが変動した場合、溶融池の見え方が異なる。半自動溶接では、溶接電圧を一定に設定しているため、溶接電源の自己制御性によりアーク長がほぼ一定であり、アークの大きさもほぼ一定となっている。そこで、アーク形状を検出し、その最大幅が同じになるように画像の拡大縮小を行った。また、カメラは溶接トーチに固定されているため、トーチ角度および溶接トーチ位置が異なると、溶接条件が同じでも溶融池の画像内の位置が異なる。これを防ぐため、アーク領域を所定の位置に推移させ、安定な溶融池画像の取得を行った。キャリブレーションにより、画像からアーク長、溶接ワイヤ突出し長さのリアルタイム計測も行った。これを作業者にフィードバックし、溶接トーチの移動方法の訓練に役立てる。

現在までの達成度 (区分)
現在までの達成度 (区分)

4: 遅れている

理由

溶融画像の状態識別に関する深層学習(CNN)の適用に関しては、手動溶接では、カメラの溶接トーチへの固定方法が課題となったが、深層学習を適用するための画像の前処理方法、深層学習の構造については、自動機を用いて、構築することができた。しかし、溶接トーチに取り付けるカメラに関して、ハイダイナミックレンジ(HDR)機能を持つCMOSカメラが必要である。しかし、コロナ禍の影響で、主要な装置であるUSB3.0に対応した近赤外領域まで撮影可能なCMOSカメラの入手に3か月程度かかった。このため、溶接システム構築に時間がかかった。また、カメラを入手後、溶融池を撮影したときに、特徴量の選択に時間がかかった。
カメラ入手後の画像処理システムの構築はスムーズに進んだが、このカメラの溶接トーチへの安定な取り付けを行うのに、試行錯誤が必要であった。
以上の状況から、自動溶接で検討した深層学習方法の手動溶接への適用が遅れており、研究全体の進捗が遅れている。

今後の研究の推進方策

1)手動溶接において、溶接トーチにCMOSカメラを固定し、作業者が溶接を行い、溶接中の画像を深層学習(CNN)の教師データとして収集する。まず、平板上を直線に溶接し、溶接トーチ角および溶接速度(運棒)を変更し、画像収集を行う。画像処理のキャリブレーション用いて、溶接トーチの高さに位置に関わらず、溶接面上の寸法を再現した溶融池画像になるようにする。つぎに、深層学習により、収集した溶接画像の溶接ワイヤとアーク領域から、CNNを用いて、溶接トーチ角度を推定する。一方、溶融池画像を用いて、CNNによりアーク領域と溶融池領域の関係を識別し、適切な溶接速度(運棒)を維持しているかの判断を行う。さらに、溶接トーチを揺動させた場合についても同様に行う。
2)作業者のARグラス上にCNNの推定結果およびアーク長の情報表示を行う。溶接中に、表示される情報の視認精度およびARグラスの装着性を確かめる。視認精度が悪い場合は透過性LEDパネルを購入し、これを溶接用保護面内の自動遮光面上に張り付けて、文字表示を大きくし、視認性を高める方策を試みる。また、ARグラスと溶接用保護面との装着性が悪い場合は、作業者があらかじめ、作業者の顔にARグラスを装着するのでなく、溶接保護面内にARグラスを固定できるようにし、作業者は溶接用保護面を被ることにより、ARグラスを通して、溶接状態を認識できるようにする。
3)溶融池とカメラとの関係が溶接姿勢等に従って変動した場合、撮影画像中の溶融池の大きさや方向が変化する場合がある。この場合、CNNを適用しても良好な認識結果を得ることができない。そこで、前処理として、撮影画像を2値化手法並びにパターンマッチング手法など用いて、溶融池を相対的な大きさに修正し、CNNの再学習を行い、溶融池画像の変動にも対応できるようにする。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (9件)

すべて 2023 2022

すべて 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (8件) (うち国際学会 3件)

  • [雑誌論文] Visual sensing and quality control in plasma MIG welding2023

    • 著者名/発表者名
      Wang Weixi、Yamane Satoshi、Wang Qi、Shan Liang、Zhang Xiaogang、Wei Zhong、Yan Ying、Song Yutao、Numazawa Hiroki、Lu Jidong、Xia Yuxiong
    • 雑誌名

      Journal of Manufacturing Processes

      巻: 86 ページ: 163-176

    • DOI

      10.1016/j.jmapro.2022.12.041

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] CO2溶接における溶接溶融池制御への深層学習の適用2023

    • 著者名/発表者名
      ハイショウ、王伝智、山根 敏、中村敬人、木下雄太、石崎圭人、永井卓也、岡部俊明、武田裕之
    • 学会等名
      溶接学会春季全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] MAG 溶接におけるギャップ識別への深層学習の適用2023

    • 著者名/発表者名
      伊藤廉太郎、山根敏、松谷和哉、羅羽西
    • 学会等名
      溶接学会春季全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] プラズマ溶接における機械学習を用いたキーホール検出への適用2023

    • 著者名/発表者名
      伊地知貴春、陸吉東、山根敏
    • 学会等名
      溶接学会春季全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] パルス MAG 溶接における HDR 機能をもつ CMOS カメラによるアーク長検出2023

    • 著者名/発表者名
      松谷和哉、山根敏
    • 学会等名
      溶接学会秋季全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Application of Machine Learning to Keyhole Detection in Plasma Welding2022

    • 著者名/発表者名
      J.Lu, S.Yamane
    • 学会等名
      Visual-JW 2022
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Sensing and Control of Melting State at Groove Root in Pulsed MAG Welding Using Deep Learning2022

    • 著者名/発表者名
      C.Wang, S.Yamane
    • 学会等名
      Visual-JW 2022
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Application of Deep Learning to Root Gap Identification in GMA Welding2022

    • 著者名/発表者名
      T.Masaki, R.Ito,S.Yamane
    • 学会等名
      Visual-JW 2022
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] GMA 溶接におけるギャップ識別への深層学習の適用2022

    • 著者名/発表者名
      正木 丈翔, 伊藤 廉太郎, 山根 敏
    • 学会等名
      溶接学会全国大会
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi