2021 Fiscal Year Research-status Report
車載カメラ・地中レーダの画像分析と振動モニタリングに基づく構造損傷進展性評価技術
| Project/Area Number |
21K04240
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
野村 泰稔 立命館大学, 理工学部, 教授 (20372667)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日下 貴之 立命館大学, 理工学部, 教授 (10309099)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 物体検出 / 物体認識 / モルフォロジー処理 / 加色混合法 / ひび割れ / 腐食 / 進展性評価 |
|---|
| Outline of Annual Research Achievements |
2021度は，数10kmにおよぶモノレール橋梁を対象に点検車載カメラから撮影された映像から，コンクリート桁のひび割れおよび鋼桁の腐食を検出するとともに，過年度データとの比較を通じて進展性を評価するシステムの開発に取り組んだ．
コンクリート桁のひび割れ検出および進展性評価では，これまでに蓄積してきている目視による損傷点検結果である画像群から自動的に教師データを作成するシステムを構築するとともに，膨大な画像に対しても高速処理が可能な YOLO を使用してひび割れを検出し，さらに，YOLOにより検出された領域に正しくひび割れが含まれているかを，畳み込みニューラルネットワークVGG16 を用いて精査することを試みた．そして，ひび割れとして精査された領域に対して，モルフォロジー処理を適用し，ひび割れ部を二値化処理することを試み，最終的に画素単位でのひび割れ検出結果を原画像に貼付した画像を出力するシステムを構築した．以上の処理を過年度データ間で実施し，画像のずれを補正しながら，新しくひび割れが検出された領域を着色するシステムの構築に成功した．
一方，鋼桁の腐食検出および進展性評価では，ひび割れ検出システムと同様に，膨大な画像に対して高速処理が可能なYOLOを使用して腐食を検出することを試みた．そして，腐食が進展しているかどうか確認するために，加色混合法により検討した．結果として，物体検出技術であるYOLOにより，腐食の検出欠落が限りなく0に近い精度を獲得することに成功し，これらの処理を過年度データ間で実施することで，腐食の進展領域のみを検出することができた．加色混合法は，光の三原色を用いた色の加算手法であり，本研究では，腐食進展前画像をレッドスケール，腐食進展後画像をシアンスケールに変換し，両画像の輝度値を加算することで，腐食進展前後の変化領域が赤色で抽出されることを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度は，モノレール橋梁を対象として，点検車載カメラ映像からひび割れ・腐食を検出するとともに，過年度データとの比較を通じて進展している領域を可視化することに成功した．これらの一連の処理は半自動化されており，プラットフォーム化されている．今後，更なる検出精度を向上させるために，教師データの精査が必要であるが，困難を極める作業ではない．ただし，進展性評価に関しては，検出されたひび割れ・腐食の画像において，過年度間で，画角がある程度統一されていることが要求される．画像の画角を統一するための画像レジストレーション技術に関して，高精度なシステムを開発するまでには至らなかったことから，2022年度以降に取り組む必要がある．以上のことを総合的に判断して，おおむね順調に進展していると判断する．
|
| Strategy for Future Research Activity |
検討項目（1） 深層学習および画像処理に基づくレジストレーション技術の比較検討：2021年度に開発したシステムは，ひび割れ・腐食の進展性を評価する上で，過年度データ間で画像の画角が統一されている必要がある．モノレール等の鉄道橋の桁を点検対象とする場合は，車載カメラ映像の画角は統一されやすいものの，一般国道などを対象とした場合，画像画角の統一化技術は必須となると考えられる．本項目では，これまでに提案されている画像処理に基づくレジストレーション技術を精査するとともに，医療分野で有用性が示されている深層学習に基づく画像レジストレーションを実装し，両手法の比較検討を行い，適切に画角統一ができる方法論を見出す予定である．
検討項目(2) 地中レーダの受信波形からの中空床版のかぶり厚不足領域の推定：本項目では，西日本高速道路エンジニアリング関西(株)が管理する最新および過年度の中空床版に対する地中レーダデータを用いて，かぶり厚が不足している箇所を抽出するだけでなく，地中レーダの受信波形を画像化し，かぶり厚の経時変化量をデジタル画像相関法から力学的かつ自動的に推定可能か調査する．
検討項目(3) 地震応答のデータ同化に基づく橋脚の構造パラメータ同定：本項目では，現有する振動台を利用して，実地震波の3次元入力により模型橋脚を破損させ，その際の応答加速度と地震動から，粒子フィルタ等のデータ同化技術を利用して，剛性と減衰のリアルタイム同定を試みる．そして，算出された剛性の時間履歴から破損状況を的確に認識できるか明らかにする．なお，これまで，1軸方向のみに地震波を入力する場合は，破損状況を剛性低下率として定量的に評価できることを確認したが，より現実に近い状況を再現するため，実地震波を3軸方向に入力し実験を行う．免震支承を模擬した供試体を作成するために予算を計上する．
|
| Causes of Carryover |
当初購入する予定であったGPU搭載型深層学習専用PCを他の研究費で購入することができたことが，次年度使用額が生じた理由である．今後の使用計画としては，2022年度に，ひび割れや腐食といった構造表面の損傷だけでなく，構造内部の状態を地中レーダの受信信号から評価することを計画しており，もう一台のGPU搭載型深層学習専用PCを購入することを計画している．
|
