2018 Fiscal Year Research-status Report

画像の重ね合わせを用いた深層学習による統合型外観検査システムに関する実証的研究

Research Project

Project/Area Number	18K13955
Research Institution	Kanagawa University
Principal Investigator	山崎友彰神奈川大学, 経営学部, 准教授 (30706891)
Project Period (FY)	2018-04-01 – 2020-03-31
Keywords	外観検査 / 深層学習
Outline of Annual Research Achievements	製造業における品質は熟練目視検査員によって支えられているが、外観検査の自動化等による効率化が産業界から強く求められている。近年、この外観検査においても人工知能技術が実用化され始めているが、依然として検査員の補助という役割に留まっている。これまで検査員の補助であった領域において、自動検査システムを“主たる検査”とするための理論検証を本研究の目的としている。人工知能技術のひとつである深層学習を用いて“主たる検査”と認められるレベルまで判定精度を向上させるために、これまでの深層学習での対応が難しかった複数の撮影画像を用いる本研究独自のアプローチと、複数の学習モデルを用いた新しい統合的検査システムを研究協力企業で運用し、その効果について実地検証する。研究初年度である平成３０年度の研究では、複数枚画像による深層学習を利用した外観検査システムを構築し、その効果を検証した。外観目視検査では、複数の画像を撮影することが多い。光源（種類や形状、発光色など）、光源とワークと撮影機材の相対的位置、被写界深度などを変えた複数の撮影画像を用いて、各画像をRGBカラーモデルの層のひとつとして捉えるアプローチにより、３枚のグレースケール画像を１枚のRGB画像として利用した。複数の画像間の関係性を画素単位で学習することになるため、各画像を別物のように個別に学習して分類の判定を行うような従来のアプローチに比べ、判定精度の顕著な改善が見られた。また、大規模画像認識の競技会で好成績を残したモデルの利用による効果についても明らかにすることができた。しかし、欠点の種類によっては少ないサンプル数での訓練になったが、その場合の効果が限定的であることも明らかになった。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 平成３０年度では、実際の製品に対してNeural Networkの深層学習アルゴリズムを活用して複数枚画像を用いた外観検査システムを構築することができた。またその効果も明らかにすることができた。欠点の大きさ等に起因する作業員の目視検査による不良品判定の難しさを考慮すると、構築した外観検査システムの判定精度の実験結果から、改善効果は高いものがあると判断できたため、現在までの進捗状況はおおむね順調に進展していると考える。サンプル数の少ない欠点に対するモデル精度の改良は必要であると考えられるが、実際の製造現場における不良品判定に対して深層学習アルゴリズムの適用が可能であることが示された。また、実験の過程で加工機別の加工面の特徴を外観検査システムにより明らかにすることができた。本来、加工機による加工面の違いやロットごとの加工面の違いは、解消しなければならない問題である。しかし、実際には経年劣化や、予防保全の不備などが原因となって、それまで発生しなかったさまざまな品質上の問題が生じることがある。この問題に対して、外観検査システムを用いることで、作業員であっても認識することができない問題を未然に表出させることが可能になることを示唆する知見も得られたと考えている。
Strategy for Future Research Activity	平成３０年度に複数枚画像による外観検査システムの効果を検証した。判定精度の向上に加え、今後は複数の学習済みモデルを用いた外観検査システムの効果を検証し、研究協力企業の製造工場において実地検証する。実際の運用においては、判定結果を示すだけでなく、判定理由や確信度などを教示するような仕組みも必要であり、外観検査システムが広く利用される指針を示すことが求められている。サンプル数の少ない欠点に対する改良が進まない場合においては、そのサンプル数や欠点の種類、不良品の出現率が判定精度に与える影響を明らかにすることで、外観検査システムの運用における基準を明確にし、社会において自動化に必要な手続きを具体的かつ明確に示すことが可能になると考える。同時に、外観検査システムのみで運用するだけでなく、人との協働を前提としたシステム構築についてもその知見を得ることで、人工知能に対する社会の理解を深めることに寄与したいと考えている。
Causes of Carryover	研究協力企業（台湾工場）で画像データを受け取る必要を考慮した予算設定であったが、企業側の事情から別方法で画像データを受け取ることができたため、予算額を下回ることになった。研究はおおむね順調に進んでおり、繰越額は次年度の研究計画に沿って使用していく予定である。