2020 Fiscal Year Annual Research Report
Development, upgrading, and promotion of novel image diagnosis system for earthquake damaged timber dwellings using deep learning
| Project/Area Number |
20J20169
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
千田 紘之 東北大学, 工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2020-04-24 – 2023-03-31
|
| Keywords | 深層学習 / 画像診断 / 画像処理 / 損傷評価 / 被害調査 / 地震被害 / 木造住宅 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，深層学習と形態学的画像処理手法を併用した地震時損傷検出および地震損傷量の定量化に基づき，深層学習活用型画像診断手法を開発し，スマートフォンの活用を念頭に被災現場で適用可能な技術へと展開するとともに，その適用マニュアルを策定することで普及促進を図ることである。
本年度（2020年度）は，これまでに検討した深層学習用画像パラメータの分析を行うとともに，検討対象とした損傷種別(外装仕上げ材のひび割れや剥落)に加え，住宅内観に見られる損傷（石膏ボードや壁紙クロスの破れやひび割れなど）について解析的検討を進めた。その際，学習用画像データベースの構築において，これまで培ってきた疑似被害画像データベースの構築技術に加え，DCGANs（Deep Convolutional Generative Adversarial Networks：敵対的生成ネットワーク）を活用することで，新たな疑似被害画像データベースの構築技術へと高度化し，これらのデータベースに基づく学習・検知精度検証を経て，従来の損傷検出器より学習および損傷検知の精度を向上させることができた。
また，上述の画像診断手法を被災現場に適用可能な撮影マニュアルへと展開するため，画像診断に必要な撮影パラメータを精査するとともに，損傷を適切に評価可能とする画像パラメータの傾向から地震被害実地調査において画像診断を適用する際の撮影マニュアルの方向性を明らかにすることができた。特に，撮影機器には広く普及するスマートフォンの活用が想定される。そこで，2021年2月13日に発生した福島県沖を震源とする地震の実地被害調査として同月16日に特に被害が集中した福島県に赴き，スマートフォンを用いた画像診断手法の検証を行うとともに，撮影環境条件（被写体距離や画素数など）の検証を経て，撮影マニュアル策定に資するデータを収集することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでに検討を続けてきた深層学習用画像データベース構築のノウハウを活かして，従来の損傷種別（外装仕上げの損傷）から拡張した損傷種別（内装仕上げの損傷）の検知にも適用可能な画像診断手法の構築を進めるとともに，スマートフォンの活用を念頭に置いた画像診断に必要な撮影環境条件について分析を進めた。学習用画像データベースの構築には，新たにDCGANs（敵対的生成ネットワーク）を活用することで，より豊富な特徴量を再現可能となるとともに，学習用画像と診断対象画像に強い相関傾向が見られること（特に，ひび割れ幅分布とRGB階調分布）が明らかになり，これらの分析を通じたモデルの改良により，従来のモデルよりも精緻な損傷検知が可能であることを示すことができた。また，画像診断に使用するスマートフォンの撮影機器のパラメータ（画素数や画素ピッチなど）ならびに撮影環境パラメータ（被写体距離や画角など）が画像診断の精度に与える影響について検証・分析を行い，その傾向を把握し，データベース改良と精度向上の糸口を見出すことができた。
また，本年度（2020年度）は予備的検討として開口部を模した仕上げ材付き縮小試験体の静的加力試験を予定していたが，世界的なCOVID-19の感染拡大により，試験体・実験の準備と実験の実施が困難だと判断し，次年度（2021年度）に繰り越すこととした。さらに感染拡大が続くことが予想され，大学・研究機関における研究活動が大きく制限されている状況が2年以上続いていることを考慮し，次年度にも実験が困難な場合を想定し，これまでの実験結果や地震被害調査（2021年福島県沖を震源とする地震）で収集したデータを活用した解析・分析の態勢を整備しているところである。
|
| Strategy for Future Research Activity |
次年度（2021年度）では，これまでの研究成果を踏まえ，深層学習活用型画像診断の適用にあたり必要な撮影環境条件の傾向が判明したので，これまでの実験や地震被害調査を通じて必要な撮影パラメータの解明を目指す。特に，2016年熊本地震の被害調査写真を用いた検証において，目視調査と同等の精度で画像診断を行うには，撮影環境条件（被写体距離や画角など）が画像診断精度に強く影響する傾向が明らかになってきた。次年度では，予定している実験と被害調査（2021年福島県沖を震源とする地震）における画像診断手法検証を通じて，深層学習モデルの高精度化を行うとともに，撮影環境条件と診断精度の関係を定量的に評価することで，具体的な撮影マニュアル策定へと展開する予定である。
また，当初予定していた画像診断手法の検証実験準備を進めるとともに，開口部を模した外装仕上げ材（モルタル塗りと窯業系サイディング）付き縮小木造架構試験体の静的加力試験，ならびに実大木造試験体の振動台実験を実施し，上述の画像診断手法における撮影環境条件の検証を行うとともに，損傷と経験変形角の関係を精査することで，仕上げ材の損傷に基づく経験変形角の推定手法の高度化を予定している。
さらに，COVID-19の世界的な感染拡大から，大学・研究機関における感染拡大防止のため，研究活動が大きく制限されている状況が2年以上続き，今後もこの制限が続くことが想定されることから，次年度にも実験が困難な場合には，これまでの実験結果や地震被害調査で収集したデータを活用した解析・分析を通じた研究態勢をとる予定である。
|
