2022 Fiscal Year Annual Research Report
深層学習による超解像SEM画像を用いたナノ構造高解像度三次元解析
| Project/Area Number |
20K15139
|
|---|
| Research Institution | Japan Fine Ceramics Center |
|---|
Principal Investigator |
吉田 竜視 一般財団法人ファインセラミックスセンター, その他部局等, 上級技師 (50595725)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 超解像 / SRGAN / FIB-SEM |
|---|
| Outline of Annual Research Achievements |
深層学習を用いた走査型電子顕微鏡(SEM)画像の超解像、および3D構築が本研究の主目的である。深層学習には数多くのアルゴリズムがあるが、今回はSRGANを採用した。なお、提案時点ではESRGANの使用を想定していたが、ESRGANはSRGANに比べて、少なくとも本研究では優位な差は認められなかったため、最終的にはより一般的であるSRGANを採用した。
具体的には、教師画像として数100枚のSEM像（実験生データ：HR）を取得し、それらを元に低解像度(LR)画像を作成した。そのLR画像をSRGANを用いて超解像を行い、超解像画像(SR)を得た。SRGANでは、LR画像からSR画像を生成し、その結果を元のHR画像と比較することで、より本物に近い画像が生成されるように学習を進める。多くの条件検討を行った結果、SRGANにおいて、一定の高い品質をもったSR画像の生成条件の探索に成功した。一方、生成されたSR画像は元のHR画像と俯瞰的にはおおよそ対応するものの、ピクセル単位で確認すると、一致しない領域も数多く確認された。特に細かい構造物に対しては、そのずれが大きくなる傾向にあった。これは、LR画像を構成するピクセル数が、細かい構造物ではごく僅かとなるため、そこからSR画像への学習の際に、精度が出ないと考えられる。
この弱点については考え方次第であり、「細かい部分が再現されない」と考えるか、「ほとんどの領域では再現されている」と考えるかで受け止め方が変わる。比較的多くのピクセルから構成される構造物については、良好な再現性を有していた。このことから、LR画像の品質により出力されるSR画像が大きく異なり、SRGANを用いた深層学習の、ある種の限界点について多くの学びを得ることができた。
|
