A New AI Method for Bridge Inspection and Diagnosis that Combines CNN with Highly Accurate Damage Detection and Expertises

2021 Fiscal Year Annual Research Report

• Project/Area Number: 21H01417
• Research Institution: The University of Tokyo
• Principal Investigator: 全 邦釘 東京大学, 大学院工学系研究科(工学部), 特任准教授 (60605955)
• Co-Investigator(Kenkyū-buntansha): 宮本 崇 山梨大学, 大学院総合研究部, 准教授 (30637989) ; 浅本 晋吾 埼玉大学, 理工学研究科, 准教授 (50436333) ; 党 紀 埼玉大学, 理工学研究科, 准教授 (60623535)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: Deep learning / 画像処理 / 橋梁点検 / CNN / SfM / Image captioning

Outline of Annual Research Achievements

橋梁点検診断の効率化および高精度化のため，Deep Learning（DL）技術の一種である
Convolutional Neural Network (CNN)により橋梁撮影画像を解析し，損傷を自動で評価する手法の実現が期待されている．当該年度は，当初目標であった既存点検データラベル付，ドローン計測，分岐型CNN構築，SfM，Image Captioning，専門知モデル，それらの取り組みをはじめる計画であったが，計画通り全てスタートすることができた．
その中で，特にImage Captioningについては想定通り（あるいは想定以上）の結果が出始めており，当初想定していた内容がほぼ既に実現できており，現在成果をまとめている段階である．また，Webシステムへの実装なども行っており，現在この内容についても投稿中である．
専門知モデルについては，着実に研究を進めている段階にあり，特にResource Description Frameworkのトリプルを活用すれば扱いやすいと見出したところである．
ドローン計測とSfMについても計画通りの結果がではじめており，撮影した写真が三次元モデル内でどの位置にあるか，AIで自動検出した損傷がどの位置にあるかなどを同定することも既に出来ている．この結果についても，既に論文はStructure and Infrastructure Engineeringに投稿されており，軽微な修正を着実に行っている段階である．多様な環境の正規化を行う分岐型CNNについては，分岐型CNNに加えてAttention機構を導入することが的確であると見出し，現在解析を進めている．

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

ほぼ全ての項目が計画通りの進捗の中，特にImage captioning技術の周辺については想定より進捗が早い．なので，当初の計画以上に進展していると評価した．

Strategy for Future Research Activity

【研究実績の概要】で記載したように，分岐型CNNについてはそれ単体では決め手にならず，Attention機構を導入することで研究が進むと見込んでいる．
その他については，計画通りに進めることを考えている．