深層学習による超解像SEM画像を用いたナノ構造高解像度三次元解析

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K15139
• Research Institution: Japan Fine Ceramics Center
• Principal Investigator: 吉田 竜視 一般財団法人ファインセラミックスセンター, その他部局等, 上級技師 (50595725)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 深層学習 / SRGAN / SEM

Outline of Annual Research Achievements

本年度は、1年目の昨年に引き続き、SRGAN(Super Resolution using Generative Adversarial Network)を用いた、走査型電子顕微鏡(SEM)画像の超解像について、条件の詳細な検討を実施した。
本年度は、構造の全く異なる試料を2試料(ここでは便宜的にA試料、B試料とする)について、それぞれ100枚以上の多数のSEM像を取得し、それらを教師画像として深層学習を実施しすることで、学習結果に基づく超解像(SR）出力結果の傾向把握を実施した。学習には本研究費で導入した深層学習用パソコンを使用し、GPUはNVIDIA RTX2080Tiを用いて、学習結果の数値解析には、本研究費で導入した高性能ノートパソコンを使用した。Upscale factorとしては4,8(4倍、8倍)を使用して学習を実行した。ここでUpscale factorとは、元の画像を何倍の解像度に拡大するか、という数値であるが、SRGANの学習においては、元の高解像度画像から解像度が1/Upscale factorとなる低解像度画像を用意し、その画像をUpscale factor分拡大する、つまり元のHR画像の解像度に戻すことで学習を実施した。
その結果、例えば教師画像の枚数としては、100枚程度でも実は十分に学習が進行することを確認した。また、A試料の画像で学習した結果をB試料のSEM像に適用した場合、A試料由来の(B試料には存在しない)構造を含むSR画像が生成された。同じ枚数の教師画像を用いた場合でも、超解像を実施したい画像と同様の構造を有する画像を学習に用いた方が、生成されるSR出力結果は良好となることが分かった。今後、学習結果の汎化性能の向上に向けた検討を進めると同時に、今年度の条件検討結果をもとに、SR画像の生成、構築に引き続き取り組む。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度までの実験で、SRGANを用いたSEM像の超解像について、基本的な動作、振る舞い、出力結果と学習データの関連性を概ね把握することが出来たと考えている。
今後、当初計画のESRGANをはじめとする他の手法と比較するかどうかについては、最近の手法は深層学習に関する論文等で頻繁に用いられる代表的な画像データセットに過適合しており、別の画像では良好な結果が得られないとの報告も一部あり、情報収集中である。しかしながら、SRGANでも当初の目的は達成できるものと判断しており、計画に対して概ね予定通りに進捗している。

Strategy for Future Research Activity

今年度1000枚程度のSEM画像を撮影し学習を実施した。その結果、ある試料では100枚程度の教師画像で十分なSR出力が得られており、別の試料ではもう少し枚数が多い方が良いなど、試料依存の傾向が見えてきている。引き続き、複数試料でのSEM画像を継続して収集しつつ、超解像タスクを実施し、FIB-SEMで取得したSEM画像に適用し、その効果を検証する予定である。

Causes of Carryover

新型コロナウイルス感染症の影響により、予定していた学会やセミナー等がオンライン開催等のため旅費を一切支出しなかったことが主な理由である。次年度は、学会の現地開催（ハイブリッド開催）もあり旅費を使用する予定があり、またSEM画像取得のための試料購入等に支出させていただく予定としている。