Machine learning assisted detection of nanodiamond NV center from TEM images

• Project/Area Number: 23K04532
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 28030:Nanomaterials-related
• Research Institution: Shinshu University
• Principal Investigator: 林 卓哉 信州大学, 学術研究院工学系, 教授 (80313831)
• Co-Investigator(Kenkyū-buntansha): 藤澤 一範 信州大学, 工学部, 日本学術振興会特別研究員 (00724634) ; 村松 寛之 信州大学, 学術研究院工学系, 准教授 (70509984) ; 姜 天水 長野工業高等専門学校, 情報エレクトロニクス系, 講師 (70884443)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: ナノダイヤモンド / 欠陥 / NVセンター / 機械学習 / 物体検出

Outline of Research at the Start

ナノダイヤモンド中のNVセンターなどの欠陥は発光やスピンなどの操作の可能性が見込まれ、バイオセンサー、量子デバイス、磁気センサーなどへの展開が期待されている。
ナノダイヤモンド中の欠陥は生成時と後処理により導入されるものがある。しかし、導入の効率は必ずしも高くなく、欠陥導入効率改善のためにはどのような欠陥がどこに導入されているかをnmスケールで明らかにする手段が求められている。
本申請ではナノダイヤモンド中の欠陥を検出するために機械学習の物体検出技術を活用することで問題解決を図ることとした。教師データにはナノダイヤモンド構造モデルのTEMシミュレーション画像の欠陥部にラベリングしたものを使用する

Outline of Annual Research Achievements

量子デバイス、高感度磁気センサー、バイオマーカーなどとして広範な展開が期待されるナノダイヤモンド中のNVセンターなどの欠陥であるが、理想的な位置へ の高効率欠陥導入には障壁がある。この障壁をクリアするにはナノダイヤモンド中の欠陥種の特定と導入位置の情報を得ることが肝要である。
そこで本研究はナノダイヤモンドのどの位置に欠陥が導入されているかをTEM像シミュレーションと機械学習を用いた物体検出を利用して明らかにすることを目的とする。
今年度は粒径3,6,9nmの球状ナノダイヤモンドの構造モデルを作製し、中心部にNV, V, V2、N2V, N2V2, N、N2、NV2、SiVの欠陥を導入した。これらに関してx軸とy軸で2度、3度ずつ180度まで変化させてTEMシミュレーションを行った。得られたシミュレーション像の欠陥位置のラベリングを行い画像認識モデルのYOLO10,11,12の学習、検証、テストデータとした。バッチサイズとエポック数を変化させて認識精度と過学習とのバランスをとるよう学習を行った。その結果、YOLO10,11,12においてSiVやNVNの欠陥などでほぼ100％の認識精度が得られた。一方でNVとVの認識では50％を割る精度であった。これは炭素と窒素の原子数が似ておりコントラスト差が非常に小さいためと考えられるが、Nの認識ではYOLO12が高精度を示しており、NVになると精度が落ちる理由を検討している。
ナノダイヤモンドのSiV欠陥の確認のために共焦点レーザー顕微鏡を用いた観察を試みており、一部発光を確認したがTEM像との対応に課題が残っている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

3,6,9nmの球状ナノダイヤモンドモデルに欠陥構造としてNV, V, V2、N2V, N2V2, N、N2、NV2、SiVをそれぞれ導入したモデルを作製し、2度刻みで180度まで回転させてTEMシミュレーションを行った。その結果、218700枚のシミュレーション像を学習に使うことができた。機械学習は最新かつ精度の向上したモデルであるYOLO11，12を用いている。学習の条件としてバッチサイズなどを変化させ、最適な条件を模索している。現状では検証データとテストデータでの確認でN2VとSiVはほぼ100％、NVNV,N2,Nは8割前後認識可能となっており、計画以上のペースで推移している。Raman分光法で確認したナノダイヤモンドのNV欠陥の発光部をTEMで確認することも試みており、数個のナノダイヤモンドの凝集体などでは対応をとることができている。しかし、年度途中でTEMが故障し長期間使用ができない状態が続いており、観察の方がやや遅れている。

Strategy for Future Research Activity

機械学習に関しては認識モデルが頻繁にアップデートされるので、そのたびに学習をさせ直して精度の検証を行っていく。デフォーカスを変化させた学習データも追加できるか検討する。
ナノダイヤモンドの観察に関してはナノダイヤモンドの単粒子化とTEMの修理が完了次第格子像の取得を行っていく。