Vision-based system identification of highway bridges in service or after earthquakes

• Project/Area Number: 23KF0241
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Multi-year Fund
• Section: 外国
• Review Section: Basic Section 22020:Structure engineering and earthquake engineering-related
• Research Institution: Kyoto University
• Principal Investigator: 金 哲佑 京都大学, 工学研究科, 教授 (80379487)
• Co-Investigator(Kenkyū-buntansha): CAO JIXING 京都大学, 工学研究科, 外国人特別研究員
• Project Period (FY): 2023-11-15 – 2025-03-31
• Project Status: Discontinued (Fiscal Year 2023)
• Budget Amount: ¥2,000,000 (Direct Cost: ¥2,000,000); Fiscal Year 2025: ¥600,000 (Direct Cost: ¥600,000); Fiscal Year 2024: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2023: ¥400,000 (Direct Cost: ¥400,000)
• Keywords: 画像処理 / 橋梁ヘルスモニタリング / 変位

Outline of Research at the Start

本研究は，コンピュータ・ビジョン（CV)から同定する変位を用いた構造物の性能評価を目的とする．まず，CVによる変位同定精度向上を目指し，カメラの設定条件を明らかにし，また，より高い解像度で変位を抽出するために，画像データのサブピクセルと機械学習の融合方法について検討を行う．構造物の性能評価を可能にするデジタルツインを構築するために，１）画像データから構造物の3次元モデルの作成と有限要素モデル作成のための幾何学データの抽出精度について検討，２）幾何学データとCVデータから同定する物理情報を融合したデジタルツインを提案する．構築したデジタルツインによる供用中または地震後の道路橋の性能評価を試みる．

Outline of Annual Research Achievements

本研究は，コンピュータ・ビジョン（CV)から同定する変位を用いた構造物の性能評価を目的とする．まず，CVによる変位同定精度向上を目指し，カメラの設定条件を明らかにし，また，より高い解像度で変位を抽出するために，画像データのサブピクセルと機械学習の融合方法について検討を行う．研究初年度である今年度は研究期間が４ヶ月であるが，コンピュータ・ビジョンに基づく道路橋の動的変位を抽出する手法の構築のための，ターゲットのパターンの検討と，模型橋梁実験の準備と予備実験を行った．また，以下の項目についても検討を行った．
１）記録された映像は交通負荷により揺らぎを持つ可能性がある．この誤差を排除するために，カメラのパラメータを事前に知ることなく，ニューラルネットワークを適用して画像座標と物理座標との間のマップ関数を構築する手法の検討を行った．　特に，関心領域（ROI）選択、キーポイント検出、外れ値除去、テンプレートマッチング、そして振動追跡の5つの連続的な段階を含む画像処理の枠組みのプロトタイプについて検討を行った．
2) 橋上のターゲットの動きは非常に微小である．このため，いくつかの特徴を追跡し，収束するまで，より高い解像度で繰り返し点位置を計算するために，サブピクセル・オプティカル・フローについて検討を行った．
３）テンプレートマッチング法による振動トラッキングに注目し、スケール化された橋梁構造物での実験により検証を行った結果をまとめて，土木学会年次講演会へ発表資料作成を行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

コンピュータ・ビジョン（CV)から同定する変位を用いた構造物の性能評価を目指した研究の今年度の研究目標である「CVによる変位同定精度向上を目指し，カメラの設定条件」，「より高い解像度で変位を抽出するために，画像データのサブピクセルと機械学習の融合方法」と「模型実験の準備および予備実験」を計画通り行ってた．
具体的には，関心領域（ROI）選択、キーポイント検出、外れ値除去、テンプレートマッチング、そして振動追跡の5つの連続的な段階を含む画像処理の枠組みのプロトタイプの提案に成功した．特に，重要なセクションには、あらかじめ定義されたテンプレートとして機能するArUcoのフィデューシャルマーカーを選定した．模型橋梁実験について，走行車両による橋梁の振動実験を行った．振動実験では画像のみならず，変位計による田脇計測，加速度計による加速度の計測を行った．また，土木学会年次講演会への発表概要を作成した．このように当初の計画通り進展していると判断できる．

Strategy for Future Research Activity

初年度の予備模型橋梁実験データを用いた，画像データによるたわみの同定精度について検討を行う．その他，以下の３つの項目ついて検討を行う．1) 実働モード解析では，数値的なモードと実際の物理モードを容易に区別できない場合が生じる．この問題に対処するために，時間領域と周波数領域のシステム同定を個別に行い，交差検証を行う．2) 低次モデルの精度が保証されない可能性がある．ベイズモデル更新法を開発し，システム同定の結果を縮退モデルに組み込み，情報に基づいた意思決定の手法を提案する．3）模型橋梁実験および実橋計測を実施し，提案手法の妥当性検証を行う．
成果は，ベルリンで開催予定のEWSHMと土木学会全国大会に参加し，発表を行う予定である．また，専門誌のEngineering Structuresにも投稿する計画である．