2019 Fiscal Year Research-status Report

Automatic crack detection from pavements using deep neural networks with small data set

Research Project

Project/Area Number	18K04302
Research Institution	Yamaguchi University
Principal Investigator	藤田悠介山口大学, 大学院創成科学研究科, 准教授 (40509527)
Project Period (FY)	2018-04-01 – 2021-03-31
Keywords	画像処理 / パターン認識 / 深層学習 / 維持管理 / ひび割れ抽出 / 半教師付き学習
Outline of Annual Research Achievements	本研究では、舗装路面のひび割れ評価の高度化・効率化のために独自の深層モデルの適用法を開発することを目的としており、①学習に必要なデータ量が膨大でありデータ収集のコストを抑えること、②画素レベルでの教師データの作成が煩雑であり簡略化すること、③屋外の照明環境の変動による不鮮明な画像への頑健性を高めること、の３つの課題がある。本年度は、まず、②の課題に対して、画像上のひび割れ発生位置を大まかに指定することにより、画素レベルでのひび割れ抽出が可能な新たな学習方法を確立することを目標とした研究を行った。これを実現できれば、教師データの作成を大幅に省力化させることを期待できる。小領域単位でひび割れ発生位置を検出するCNNモデルに、CNNの識別根拠を可視化する技術を適用して、画素レベルでのひび割れ抽出の有効性を評価し、現状の課題を抽出した。また、③の課題に関して、日照の問題により、舗装路面を撮影した画像上でひび割れを確認できない状況が生じることを確認した。この問題に対して、3方向の車載カメラにより同時に取得される画像を用いることにより、頑健な処理を実現できることを確認した。また、コンクリート構造物のひび割れ抽出において、低解像度画像を使用すると、コントラストが弱い箇所で、抽出されたひび割れに途切れが生じる問題がある。これに対して、新たに途切れ補間モデルを構築し、ひび割れ検出率が向上することを確認した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本年度の当初の研究推進方策として、深層学習の枠組みによる改良と画像上の視認性の低い箇所の検出性能を向上させるための未検出箇所の検知モデルの開発を挙げていた。検出結果が比較的悪い画像においては撮影時の日照の問題が影響していることが明らかになった。この問題は、モデルの改良での対応は困難であるため、3方向のカメラの画像を処理し、統合する方式を開発した。これにより日照の影響に頑健な処理を実現できることを示した。また、未検出箇所の検知について、コンクリート表面のひび割れ画像を用いて途切れ箇所を補間するモデルを開発し、有効性を確認した。さらには、教師データ作成の省力化のために、大まかなひび割れ位置を指定してひび割れ発生位置を検出するモデルに可視化技術を導入して、画素レベルでのひび割れ抽出する方式を開発した。この方式は、ひび割れ抽出の問題に限らず、CNNのアノテーションの作業を省力化できる可能性のあるものである。以上のいずれにおいても成果が得られており、研究の進捗はおおむね順調であると考えられる。
Strategy for Future Research Activity	次年度は、本年度に行ったアノテーションの省力化の方式により構築されるモデルを高精度化する予定である。適用したCNNの可視化技術やモデル構造の最適化を検討し、限られた学習データにおいてもひび割れ位置検出モデルの高性能化を図る。また、本年度に開発したひび割れ抽出の未検出箇所の補間モデルは、先の処理モデルで過検出が生じるとこれを拡大する問題があるため、過検出に対して頑健なモデルの構築方法を考案し、処理の高精度化を図る。
Causes of Carryover	旅費を当初の予定より低く抑えることができたため、来年度の実験データ作成のための費用として活用し、研究を推進する予定である。