Automatic optimization of deep learning models and reconstruction of training data for microscopic image processing

Research Project

Project/Area Number	22K12270
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 62010:Life, health and medical informatics-related
Research Institution	Institute of Physical and Chemical Research
Principal Investigator	東裕介国立研究開発法人理化学研究所, 生命機能科学研究センター, 研究員 (80585034)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000) Fiscal Year 2024: ¥130,000 (Direct Cost: ¥100,000、Indirect Cost: ¥30,000) Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000) Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Keywords	顕微鏡画像処理 / 深層学習 / バイオイメージ・インフォマティクス
Outline of Research at the Start	近年の深層学習技術の発展は著しいが、生物系の研究室で利用されることは稀である。その理由は、①深層学習モデルを各自の画像と計算機環境に最適化させるのが困難であり、②学習データの準備に多大な労力が必要だからである。本研究では、これらの問題を解決して深層学習による顕微鏡画像処理を自動化する。①の問題は申請者の独自手法である生物学的制約付き最適化によりパラメータ探索空間を大幅に削減して解決する。その結果、任意のモデルを画像と計算機環境に合わせて自動最適化することを可能とする。②の問題は近年増加している注釈付き画像のデータベースから、適用画像に類似したメタ情報を持つ画像を自動取得することで解決する。
Outline of Annual Research Achievements	本研究では、生物学研究における深層学習の利用促進のため、顕微鏡画像処理の自動化を目指す。そのため、深層学習モデルを自動最適化する方法と学習データ自動構築方法を開発する。開発目標として挙げていた３種類の深層学習モデル（セグメンテーション、機能拡張、分類）のうち２種類について、自動最適化方法を構築した。具体的には、機能拡張モデルの一つであるCAREと、セグメンテーションモデルであるCellpose、StarDistについて、ハイパーパラメータを最適化し、適用画像に最適なモデルを自動的に構築する方法を開発した。線虫C. elegans胚の顕微鏡画像を用いてCAREによる画像修復を評価したところ、本手法を用いない場合多くのアーティファクトが生じたのに対し、本手法を適用した場合はそれらが生じないことがわかった。また、Cellpose、StarDistにおいても、目視による画像解析と同様の結果を得られることが分かった。本手法が、生物学研究に有用であることを示すため、開発手法を用いて画像処理パイプラインを構築し、線虫C. elegans胚52個体の発生における細胞形態変化を定量解析した。個体間で比較することにより、細胞の形態変化には高い再現性と固有性があることを発見した。また、個体差の細胞間の違いについて評価したところ、系統、世代、細胞間コンタクトなどの複数の要因によって決定されていることが明らかとなった（Azuma et al., 2023）。以上の研究により、深層学習モデルを自動最適化する方法が生物学的な知見を得るのに有用であることが実証された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究目標達成のために必要な開発２項目のうち、１項目について、既に開発に成功し成果を誌上発表している。従って、残りの２年間で目標を達成できる公算は十分に大きいと考えられるため。
Strategy for Future Research Activity	これまでの研究により、深層学習モデルを自動最適化する方法の開発に成功しており、今後は学習データ自動構築方法の開発に注力する。この開発の目的は、適用画像に類似した画像を公共のデータベースから自動的に取得して、学習データを構築することである。顕微鏡画像の類似度はGoogle画像検索のような画像の類似度を測る方法で測るのは困難なため、メタ情報の類似度を用いる。最終的に、この方法で構築した学習データを用いて、自動最適化された深層学習モデルを訓練し、性能を評価すると共に、生物学研究に貢献することを示す。昨今、ChatGPTをはじめとする大規模言語モデルが注目されており、研究現場への導入も期待されている。今後の研究では、この点についても考慮し、より簡単に最先端の顕微鏡画像処理方法を利用する方法について検討したい。