2021 Fiscal Year Research-status Report
溶接モニタリングと深層学習の融合による溶接品質その場推定と判断根拠の可視化
| Project/Area Number |
21K03806
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
野村 和史 大阪大学, 工学研究科, 講師 (90397729)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | アーク溶接 / その場計測 / 溶接品質 / 機械学習 / 判断根拠の可視化 / AI / 溶込み深さ / 非破壊 |
|---|
| Outline of Annual Research Achievements |
本研究は，自動溶接施工時に問題となる溶込み深さや溶落ちの有無といった溶接品質の不安定性に対し，溶接中の溶融池画像を入力，溶接品質を出力とした深層学習モデルを構築して，インプロセスモニタリングによる溶接品質の可視化と予測を実現することを目的としている．
従来成果として，我々はレ型開先のマグ溶接において，ギャップ変動や板継部を模した試験片に対する溶込み変動を深層学習モデルにより推定可能であることを明らかにしている．用いる深層学習モデルは畳み込みニューラルネットワーク（CNN）で，入力として溶接線後方から近赤外フィルタをつけたCMOSカメラにより観察したビデオレートの溶融池画像，出力として断面マクロにより得られる溶込み深さおよびその補間値を採用した．結果として，溶接長のほとんどの部分に対して，誤差1 mm以下で溶込み深さの推定が可能であるという結果を得ている．
この溶込み深さ推定モデルに対して，当該年度においてはモデルの判断根拠を可視化することを試みた．機械学習の活用は一般にBlack Box化する部分も多く，成果が出てもその理由がはっきりしないため応用が難しいといった側面がある．従来成果においても，溶込み深さの推定が何故出来たのかまでは言及できなかった．しかし近年は，説明可能AI，判断根拠の可視化など，そうした問題に対する手法が報告されており，本研究ではGradCAM++法を適用した．本手法により，CNNにおける入力画像に対し，どの部分に着目したが故にその出力値となったのかを示すことが出来る．その結果，溶融池表面に現れる情報のうち，溶込み深さのモニタリングに必要な物理量はどこかということを品質側から逆方向に指示することができ，現象との考察も踏まえながら，推定モデルの高度化，制御指針を提案することが可能になる．そのほか，本モデルの汎化性能の向上を図りながら，適用先の水平展開も行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究の進捗状況としては概ね順調である．本テーマにおいて，初年度，最も大きな課題の一つとして挙げていた溶込み推定モデルの判断根拠の可視化には成功しており，いくつかの学会や委員会にて既に報告している．これにより，溶込み推定モデルが溶融池の何処を視て深さを判断しているのかがわかった．したがって，いくつかの見方をした場合に，より効果的な入力となるのはどのような画像か，熟練技能者が着目する特徴点，ロボットが自動制御する際に見るべき点，見なくても良い点などについて議論が可能となった．
また，モデルの汎化性能向上として，CNNモデルの層数や組み合わせ，ハイパーパラメータのチューニング方法，用いるライブラリの見直しなど基本的な部分をブラッシュアップした．前段の可視化に関しても効果的な画像サイズが存在し，適用モデルによっては判断の可視化が難しくなることもわかった．
さらに適用範囲を従来のレ型開先の溶込み深さではなく，同じGMA溶接ではあるが違う接合継手に対しても応用を試みている．
|
| Strategy for Future Research Activity |
当初研究計画のとおりスカラー量入力モデルや時系列入力モデルへの展開を考えている．そのほかの点として，実現場に本手法を応用する際に必ず障壁となる，カメラの設置角度や焦点距離による拡大縮小など，入力画像の僅かなずれの問題に取り組む．機械学習においては，一般に画像の平行移動，拡大縮小，回転などを任意に与えるデータ拡張により，分類問題等における判断精度を上げる手法が取られているが，本研究のようなモデルで溶込み深さという回帰問題を解く場合に，そうしたデータ拡張は効果があるか，どの程度までの設置尤度を許容できるのか，などの非常に実地的な内容について取り組む．
|
| Causes of Carryover |
溶接実験用をするための走査ステージが故障し，代替品の買い替えが必要となったが，2021年度の半導体不足の影響でステージ納品に半年近くを要したため，実質実験が出来なかった．そのためステージ周辺治具系を除き，鋼材およびその開先加工などでの消耗品使用が無かった．2021年度末にステージを稼働させることが出来たため，2022年度には鋼材購入，鋼材の加工に使用する予定である．
|
