|
電子工作の基礎技術であるはんだ付け作業は，年齢が下がるほど，また作業のポイントがつかめない作業者ほど怪我のリスクも高い．本研究では，画像認識とサーモグラフィによる温度情報の組み合わせに着目し，比較的安価に実現できる作業者の安全監視と技術向上を目的とした支援ツールの開発を行なった．
支援ツールはパソコン，ステレオカメラ，タブレット取付型サーモグラフィで構築され，開発言語はPythonを使用し，オープンソースの物体検出アルゴリズムYOLOv5 を用いて，自作した画像データを検出対象ごとに300枚程度を学習データに使用し，転移学習でモデルを作成した．サーモグラフィの映像をパソコンへリアルタイムで送るため，Wi-Fi を利用し，タブレットからミラーリング機能により直接取り込み，カメラ映像とサーモグラフィ映像を同時に画像認識を行う構成とした．
安全監視モードでは，作業者を正面からカメラとサーモグラフィで撮影し，顔の向きが作業箇所を注視していない場合やはんだごてが自分や周りに危害を加える恐れがある場合を画像認識により検出し，こてが高温の場合，警告する．技術向上モードでは，サーモグラフィではんだ付けを行う箇所の裏から温度を計測し，加熱状態を可視化し，はんだ付けできる温度に達したら作業者に音で知らせる．裏側からの温度測定を行い易くするために銅箔テープを張り付けた専用の基板を使用することとし，カメラではんだ付け箇所を撮影し，作業と加熱状況を関連付けている．
秋田高専の２年生に使用してもらいアンケートを行った結果，安全監視モードでは，検出の速さや検出の精度の改善が必要であり，技術向上モードでは，はんだ付けのタイミングを適切に指示が出来ており，はんだが苦手な人や初学者がコツを掴むための有効性が確認できた．今後はステレオカメラによる距離の情報も取り入れて精度の向上を行っていく．
|
