A Study on Mag Welding Skill Support System Using Deep Learning and Augmented Reality
| Project/Area Number |
22K04709
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 26030:Composite materials and interfaces-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
山根 敏 埼玉大学, 理工学研究科, 教授 (10191363)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 溶接溶融池 / 深層学習 / Resnet50 / 畳み込みニューラルネットワーク（CNN） / 溶込み識別 / CMOSカメラ / キャリブレーション / リアルタイム計測 / アーク長 / 溶接トーチ / 近赤外線CMOSカメラ / HDR機能 / 溶接士支援 / 溶接溶融池観察 / 拡張現実 |
|---|
| Outline of Research at the Start |
アーク溶接時にAI技術およびセンサ技術を活用し、熟練溶接士の技能の可視化を試みる。具体的には、1）実溶接における視覚センサ（CMOSカメラ）を用いた最適なアーク光および溶融池の撮影方法の確立、2）溶融状態、溶融池溶込み状態および溶接欠陥の推定方法の確立、3)若手溶接士へのリアルタイムのフィードバックを構築する。
ここでは、視覚情報の識別に強い深層学習（畳み込みニューラルネットワークCNN）によりアーク溶接時の溶接溶融池の状態を推定する。さらに、溶接中の溶接士自身が溶融池映像および処理結果を見れるようにする。これを行うことにより、技能伝承およびAI技術による溶接支援システムを構築する。
|
| Outline of Annual Research Achievements |
溶接中、強烈なアーク光の影響により、視覚カメラを用いて、溶融池だけを明瞭に観察することは困難である。このため、アーク光の影響を軽減できる近赤外線領域まで撮影可能なCMOSカメラおよび950nm以上の波長を通すロングパスフィルタを用い、溶融池を明瞭に撮影した。これを深層学習の入力とした。手動（半自動）溶接の場合、カメラは溶接トーチに固定しているので、作業者の手振れが生じると、学習用の溶融池画像を安定に取得できない。そこで、深層学習の手法確立、有効性および画像処理方法を検討するため、視覚センサを持つ簡易自動溶接機を構築した。ここでは、セラミック製バッキング材を用いたV開先の片面溶接において、溶融池状態識別のため、深層学習の一種である50層を持つResNet50を用いた。溶融池内のどの部分が識別精度に影響を与えるのかを検討し、この部分が強調されるような前処理方法を確立した。未学習の溶融池画像に対する識別率が従来の単純な画像を用いる方法と比較し、60％から88％に向上した。
これらを半自動溶接に適用する。溶接中の手振れなどにより、溶接トーチの高さが変動した場合、溶融池の見え方が異なる。半自動溶接では、溶接電圧を一定に設定しているため、溶接電源の自己制御性によりアーク長がほぼ一定であり、アークの大きさもほぼ一定となっている。そこで、アーク形状を検出し、その最大幅が同じになるように画像の拡大縮小を行った。また、カメラは溶接トーチに固定されているため、トーチ角度および溶接トーチ位置が異なると、溶接条件が同じでも溶融池の画像内の位置が異なる。これを防ぐため、アーク領域を所定の位置に推移させ、安定な溶融池画像の取得を行った。キャリブレーションにより、画像からアーク長、溶接ワイヤ突出し長さのリアルタイム計測も行った。これを作業者にフィードバックし、溶接トーチの移動方法の訓練に役立てる。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
溶融画像の状態識別に関する深層学習（CNN)の適用に関しては、手動溶接では、カメラの溶接トーチへの固定方法が課題となったが、深層学習を適用するための画像の前処理方法、深層学習の構造については、自動機を用いて、構築することができた。しかし、溶接トーチに取り付けるカメラに関して、ハイダイナミックレンジ（HDR）機能を持つCMOSカメラが必要である。しかし、コロナ禍の影響で、主要な装置であるUSB3.0に対応した近赤外領域まで撮影可能なCMOSカメラの入手に3か月程度かかった。このため、溶接システム構築に時間がかかった。また、カメラを入手後、溶融池を撮影したときに、特徴量の選択に時間がかかった。
カメラ入手後の画像処理システムの構築はスムーズに進んだが、このカメラの溶接トーチへの安定な取り付けを行うのに、試行錯誤が必要であった。
以上の状況から、自動溶接で検討した深層学習方法の手動溶接への適用が遅れており、研究全体の進捗が遅れている。
|
| Strategy for Future Research Activity |
１）手動溶接において、溶接トーチにCMOSカメラを固定し、作業者が溶接を行い、溶接中の画像を深層学習（CNN)の教師データとして収集する。まず、平板上を直線に溶接し、溶接トーチ角および溶接速度（運棒）を変更し、画像収集を行う。画像処理のキャリブレーション用いて、溶接トーチの高さに位置に関わらず、溶接面上の寸法を再現した溶融池画像になるようにする。つぎに、深層学習により、収集した溶接画像の溶接ワイヤとアーク領域から、CNNを用いて、溶接トーチ角度を推定する。一方、溶融池画像を用いて、CNNによりアーク領域と溶融池領域の関係を識別し、適切な溶接速度（運棒）を維持しているかの判断を行う。さらに、溶接トーチを揺動させた場合についても同様に行う。
２）作業者のARグラス上にCNNの推定結果およびアーク長の情報表示を行う。溶接中に、表示される情報の視認精度およびARグラスの装着性を確かめる。視認精度が悪い場合は透過性LEDパネルを購入し、これを溶接用保護面内の自動遮光面上に張り付けて、文字表示を大きくし、視認性を高める方策を試みる。また、ARグラスと溶接用保護面との装着性が悪い場合は、作業者があらかじめ、作業者の顔にARグラスを装着するのでなく、溶接保護面内にARグラスを固定できるようにし、作業者は溶接用保護面を被ることにより、ARグラスを通して、溶接状態を認識できるようにする。
３）溶融池とカメラとの関係が溶接姿勢等に従って変動した場合、撮影画像中の溶融池の大きさや方向が変化する場合がある。この場合、CNNを適用しても良好な認識結果を得ることができない。そこで、前処理として、撮影画像を2値化手法並びにパターンマッチング手法など用いて、溶融池を相対的な大きさに修正し、CNNの再学習を行い、溶融池画像の変動にも対応できるようにする。
|
Report
(2 results)
Research Products
(9 results)
