走査電子顕微鏡のための人間能力活用型合焦支援システム

Research Project

Project/Area Number	22K04221
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 21060:Electron device and electronic equipment-related
Research Institution	Kogakuin University
Principal Investigator	山崎貞郎工学院大学, 工学部, 准教授 (60317344)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000) Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000) Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	走査電子顕微鏡 / 合焦 / 人間力活用 / 能動型画像処理 / 画像共分散 / 非点収差補正 / 共分散 / 相関係数 / 合焦支援システム
Outline of Research at the Start	最先端の走査電子顕微鏡(SEM)では，理論的な最高到達分解能と装置保証分解能が一致しつつある。しかし，装置の操作パラメータは極端に複雑化している。これを踏まえてSEMの潜在的能力も含めた幅広い活用を考えるとき，非点補正を含む合焦システムの性能向上は不可欠である。これを装置側のみで解決するのではなく，人間の能力に着目し，人間の聴覚・視覚を活用したユニークな合焦支援システムの構築を目指す。本研究では，これまでに議論されてこなかった「新しいSEM画質評価（合焦評価）指標」，「観察倍率の一意的決定法」，「既存ノイズ抑制技術とディープラーニング手法の適切な組み合わせ」を含めて検討をおこなう。
Outline of Annual Research Achievements	これまでに，SEM用焦点合わせ支援システムの中核をなす合焦用信号の品質改善技術に関する研究を進めてきた。その中身は，1枚の同一視野SEM像間の画像共分散値COVsの測定とそれをサポートするシンプルな画像処理技術により構成されている。しかしながら，多様な条件下で利用されるSEM装置において，それらの能力を常に最大限に発揮できるようにすることは非常に難しと言える。この状況を打開するために，COVs値に基づく合焦用信号の変動評価指標値をその場で連続的にモニタして最良の設定を見つけられるシステムを構築してきた。一方，SEM像の品質を決める要素は装置条件のみならず観察試料の性質が大きく影響している。換言すれば，合焦信号の品質について試料の特徴までも含めて詳しく議論する場合には，前述の変動評価指標のみを単にモニタするだけでは不十分となる。合焦用信号は，様々な像コントラスト要因が複雑に入り交じった結果を反映している。例えば，電子ビーム径の変化に敏感な表面微細構造の他に，相対的に大きな凹凸構造，弱い帯電の影響などが強く影響する。令和5年度の研究において，凹凸の少ない金属基板表面が多くを占め，畦道のようにAu蒸着シリカ粒子が分布する試料を用い，640×480pixのTV scan像に対して，操作者が何らの支援も受けずに適切な合焦操作をおこなうことは困難であることを実験的に確認した。また，像全体から得られる評価指標値の変動も大きく，合焦操作の妨げとなることも確認した。これに対して，Au蒸着シリカ粒子が畦道状に分布する95×95pixの領域を4領域選択し，正方に結合して１画像化した像のCOVs値を連続的に操作者へ呈示し，その最高値が得られるように操作者が励磁電流(Focus Adjustment)を調整することにより，安定した状態で合焦に至るとの知見を得た。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2枚の同一視野SEM像間の画像共分散値COVsを合焦評価指標値として得る手法から，令和5年度の研究においては，表面構造が顕著な複数の領域を操作者がSEM像の中から選択して，合焦評価指標値を得る手法へと進展させることができた。令和4年度の研究における手法では，視野にAu蒸着シリカ粒子が5粒程度しか存在しないような70000倍のTV scan像(640×480pix)において，像全体から得られるCOVs値に合焦操作の妨げとなるような変動が生じる傾向が示唆されていた。令和5年度の研究において，表面構造に乏しい領域が支配的であるSEM像全体から得られるCOVs値は不安定であることを実験的に確認することができた。上記と同様の視野において，Au蒸着シリカ粒子の内4粒のエッジ部を含むように，それぞれ95×95pixの4領域を操作者が選択し，これらを正方に結合して190×190pixへ1画像化した像からCOVs値を合焦評価指標値として連続的に算出したところ，従来の手法に対して飛躍的にCOVs値が安定した。フィラメントの寿命による断線まで約42時間前という電子ビームが不安定な条件においても，この手法を用いて容易に合焦操作がおこなえることを令和5年度の研究において実験的に確認した。視野にAu蒸着シリカ粒子が68粒程度，畦道のように分布する30000倍のTV scan像(640×480pix)においても，畦道状に連なるAu蒸着シリカ粒子を含むように，それぞれ95×95pixの4領域を操作者が選択し，これらを正方に結合して190×190pixへ1画像化した像からCOVs値を合焦評価指標値として連続的に算出したところ，極めて安定して合焦操作がおこなえることを実験的に確認した。 SEM像において表面構造が顕著な領域を操作者自らによる選択では無く，自動的に抽出することを目指す令和6年度の研究へ，明確な道筋を付けることができた。
Strategy for Future Research Activity	令和5年度の研究において，平坦な金属基板表面が像における面積の多くを占め，僅かなAu蒸着シリカ粒子が分布する640×480pixのTV scan SEM像全体で，2枚の同一視野像間の画像共分散値COVsに基づく合焦評価指標値を操作者へ連続呈示したところ，操作に依存しない合焦評価指標値の変動が無視できない大きさに達するという知見が得られた。同じ条件のSEM像に対して，Au蒸着シリカ粒子が畦道状に分布する95×95pixの領域を操作者が4領域選択し，これらを正方に結合して1画像化した像のCOVs値をリアルタイムで算出し，操作者へ連続呈示したところ，上記の変動は劇的に抑制され，呈示される合焦評価指標値が最大となるように操作者が励磁電流(Focus Adjustment)を調整することにより，容易に合焦へ至ることを確認した。この場合，Au蒸着シリカ粒子の分布密度が高い領域を操作者が目視により選択しているが，操作者の主観が入るため，合焦評価指標値が最も高く得られる領域を必ずしも選択しているとは言えない。令和6年度の研究においては，合焦評価指標値が高い傾向にある(表面構造が顕著である)領域を所望の視野から操作者に選択させるのでは無く，自動的に捜索する手法について検討をおこなう。具体的には，SEM像を適正に細分割した後，各分割像に対して信号S，ノイズN，およびSN比を同時に求め，それらを可視化して有益な合焦評価指標値の取得を試みる。上記のような95×95pixの領域ではなく，SEM像全体を3×3pixのように細分割する。すなわち，640×480pixの像から細分割された約34080の領域に対するS値がリアルタイムで算出できることになり，大きい順に並べた上位グループのS値を合焦評価指標値として用いることを考える。これにより，合焦に不可欠な表面構造が密となっている領域がSEM像から自動的に抽出され，より客観的かつ安定した合焦評価指標値が得られるものと期待される。