2020 Fiscal Year Research-status Report
深層学習による超解像SEM画像を用いたナノ構造高解像度三次元解析
| Project/Area Number |
20K15139
|
|---|
| Research Institution | Japan Fine Ceramics Center |
|---|
Principal Investigator |
吉田 竜視 一般財団法人ファインセラミックスセンター, その他部局等, 上級技師 (50595725)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | SEM / 深層学習 / SRGAN |
|---|
| Outline of Annual Research Achievements |
今年度は、SEM像を用いて深層学習による超解像を試みた。アルゴリズムとしては、まずは超解像ニューラルネットワークの一手法であるSRGAN(Super Resolution using Generative Adversarial Network：敵対的生成ネットワーク)を用いた。計画ではESRGAN(Enhanced SRGAN)を用いる計画であったが、まずはESRGANの基本となるSRGANアルゴリズムを用いた。低解像度画像から高解像度画像を復元する手法であり、GeneratorでSRResnetにより作成された画像を、Discriminatorで敵対的学習を実行することで、鮮明な画像を得る手法である。
SRGANアルゴリズムによる教師画像としては、まずは汎用的な標準試料であるSn球蒸着膜を用いて、走査電子顕微鏡を用いて100枚の二次電子像を取得した。検証データとしては、観察倍率の異なる複数のSEM像を用意した。学習には本研究費で導入した深層学習用パソコンを使用し、GPUはnVIDIA RTX2080Tiを用いた。Upscalefactorとしては4,8(4倍、8倍)を使用して学習を実行した。
SRGANの学習は、教師画像を低解像度化したものを作成し、その画像を教師画像にどこまで近づけることができるか、という学習を実行している。今回の結果では、100枚の教師画像では、おおよそ400～500epochで教師画像と同等程度以上の超解像画像が得られた。500epochの学習におよそ50分程度であった。今後、教師画像をさらに増やすことで、必要epoch数との関連を検討する。また、分解能の低下した一般的なSEM像を取得し、学習結果を適用することで超解像の効果を得られるかを検討する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度はSEM専用機で撮影したSEM像を用いた超解像を実施することを計画としており、計画通り、SRGANを用いた超解像を実施した。計画ではESRGANの使用を想定していたが、まずは基本となるSRGANにて超解像の実現を確認した。次年度以降も引き続き超解像タスクに取り組む予定である。
|
| Strategy for Future Research Activity |
まずは教師画像を増やすことが課題となる。学習に適した、鮮明なSEM像をさらに追加で取得する。また、学習に適した、様々な形状やコントラストをもつ複数の試料での教師画像と検証画像を撮影し、その汎化性能を確認する。その上で、FIB-SEM三次元構築に必要となる断面SEM像について、SRGANを適用しその性能を確認していく。
|
| Causes of Carryover |
新型コロナウイルス感染症拡大のため、外部利用やセミナーが中止、また予定していた学会がオンラインに切り替わり、旅費を使用しなかったことが主な理由である。次年度以降もコロナウイルス対策は継続するが、教師画像取得のための標準試料の追加購入等により使用させていただく計画である。
|
Research Products
(1 results)
