A Study on Mag Welding Skill Support System Using Deep Learning and Augmented Reality
| Project/Area Number |
22K04709
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 26030:Composite materials and interfaces-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
山根 敏 埼玉大学, 理工学研究科, 教授 (10191363)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | アーク長 / 溶接トーチ / 近赤外線CMOSカメラ / HDR機能 / 溶接士支援 / キャリブレーション / 深層学習 / 溶接溶融池観察 / 拡張現実 / CMOSカメラ |
|---|
| Outline of Research at the Start |
アーク溶接時にAI技術およびセンサ技術を活用し、熟練溶接士の技能の可視化を試みる。具体的には、1）実溶接における視覚センサ（CMOSカメラ）を用いた最適なアーク光および溶融池の撮影方法の確立、2）溶融状態、溶融池溶込み状態および溶接欠陥の推定方法の確立、3)若手溶接士へのリアルタイムのフィードバックを構築する。
ここでは、視覚情報の識別に強い深層学習（畳み込みニューラルネットワークCNN）によりアーク溶接時の溶接溶融池の状態を推定する。さらに、溶接中の溶接士自身が溶融池映像および処理結果を見れるようにする。これを行うことにより、技能伝承およびAI技術による溶接支援システムを構築する。
|
| Outline of Annual Research Achievements |
溶接技術者による溶接品質の確保方法を調べるために、基礎実験を行った。具体的には、自動溶接装置を組み立て、その溶接トーチに近赤外線領域まで撮影可能なCMOSカメラを固定した。これを用いて、パルスMAG溶接の溶融池を安定に撮影するため、プログラムロジックコントローラ（PLC）と安価な電流センサを組み合わせて、溶融池撮影装置を構築した。この装置は自動溶接のみならず、手動用トーチを用いた場合の溶融池撮影にも応用できる。
従来、溶融池を明瞭に撮影するようにすると、溶接電流の低電流期間に撮影するか、あるいは、減光フィルタを用いてアーク光を減光することであった。これらの方法では、溶融池は撮影できるが、アークがどこまで広がっているかなどのアーク状態を調べることが困難であった。一方、減光フィルタを少なくすると、アークは明瞭に撮影できるが、溶融池を撮影することができない。溶接ビードのアンダーカットなど外観欠陥などを観察するためには、溶融池状態およびアーク状態の同時観察が必要である。そこで、ハイダイナミックレンジ（HDR:High Dynamic Range）を持つCMOSカメラを用いる。これにより、溶接溶融池およびアークを同時に観察することが可能になった。パルス溶接電流の低電流になったタイミングからカメラのシャッタを開いていき、最適な撮影状態を調べた。その結果、低電流になってから、ピーク電流になった時までの撮影が適した状態であった。これにより、溶接状態を調べ、溶接欠陥の生じる条件を求めた。
その結果、アーク長が長くなると、溶滴がビード外部でなく、中央部よることが観察され、アンダーカットが生じることが確認された。すなわち、アーク長をCMOSカメラにより測定することにより、アンダーカットが生じる要因を明らかにすることができた。アーク長を適切に管理できれば、良好な結果を得ることができる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ禍の影響で、当初、予定していたHDR機能を持つCMOSカメラの入手が困難になった。このため、実験装置の変更を行ったために、研究の進行が遅れている。
|
| Strategy for Future Research Activity |
基礎的な実験が終了し、ビード外観への溶融池形状およびアーク長の影響が明らかになった。そこで、半自動溶接電源に、電流波形を検出するための電流センサを取り付けて、電流検出を行う。具体的には、電流センサの出力をノートPCに接続したAD変換器に入力する。これにより、カメラシャッタのトリガ信号を作り出す。ビード外観の欠陥（アンダーカット）を防ぐためには、アーク長の管理が有効である。これを行うためにはアーク長の精度高い検出が重要になる。そこで、手動トーチにCMOSカメラを固定し溶接溶融池およびアーク光を同時撮影する。通常のままでは、カメラは２次元で撮影しているので、正確なアーク長を検出することができない。そこで、溶接ワイヤおよびアークを基準とすれば、正確な高さ方向の検出が可能となる。ここでは、溶接ワイヤに沿って、キャリブレーションプレートを設置し、これをカメラで撮影し、キャリブレーションを行う。これによりアーク長の長さを精度よく計測する。具体的には、パルスMAG溶接を行い、これをHDR機能を有するCMOSカメラで撮影する。その後、キャリブレーション処理を行う。この処理後の画像からアーク長を検出し、その結果を拡張現実の画面に表示する。基礎実験結果から、アーク長が短い、適切および長いとの３種類に識別する。これを行うために、深層学習を適用する。ロボット溶接での基礎実験結果を教師データとして、学習を行う。ここでは、識別能力の高いResNet50を用いる。学習済みのものを用いて、半自動溶接に適用する。学習を効率的に行うためには、前処理が重要である。そこで、アーク光の高輝度の特徴を利用し、キャリブレーション後のアーク光を含む画像から２値化手法を用いて、アークを含むエリアを切り出して、検出領域とする。半自動溶接を行い、その検出性能を確認する。
|
Report
(1 results)
Research Products
(4 results)
