物体認識データセットに対する画像変換を通じた汎用的な細胞画像認識技術の開発

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K19988
• Research Institution: Hirosaki University
• Principal Investigator: 藤本 健二 弘前大学, 医学研究科, 特任助教 (40982442)
• Project Period (FY): 2023-08-31 – 2025-03-31
• Keywords: 細胞画像認識 / データ拡張 / 画像変換

Outline of Annual Research Achievements

顕微鏡観察で撮影された多種多様な細胞画像から細胞を認識する上で，深層学習は有用な方法論である．本研究の目的は，深層学習による細胞画像認識に必要な大量の教師 (「正解」) 付きデータを，一般公開されている一般物体認識用のデータセットに対する画像変換によって生成する方法の開発である．これにより，専門家が大量の教師データを手作業で作成する必要がなくなり，深層学習の低コスト化が期待される．

令和5年度は，細胞画像認識のなかでもセグメンテーションを取り上げた．与えられた細胞画像 (静止画像) について，各画素を個々の細胞の領域または背景に分類 (すなわち細胞のそれぞれと背景を塗り分け) したセグメンテーションマスクと呼ばれる画像を出力するタスクであり，細胞の数や形態といった情報の抽出に重要な役割を果たす．当該年度は，画像変換の元となる公開データセットとして Microsoft COCO (common objects in context) を利用した．画像変換には，セグメンテーションマスクから元画像を復元するタスクで優れた性能を発揮している pix2pix モデルを使用した．一般に公開されている細胞画像 (位相差顕微鏡画像) セグメンテーション用の公開データセット LIVECell を用い，セグメンテーションマスクを細胞画像にするよう pix2pix を訓練した．そして，pix2pix を Microsoft COCO データセットを用いて生成したマスク画像に適用し，擬似的な細胞画像を生成した．こうして得られた擬似細胞画像とセグメンテーションマスクの組を LIVECell データセットに追加して訓練することで，広く利用されている細胞セグメンテーションモデルである Cellpose の性能が改善されることを確認した．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

業務過多ならびに研究代表者本人の私傷病による休職もあり，当初計画からやや遅れている．具体的には，細胞セグメンテーションを対象として画像変換法の開発を進め，Cellpose モデルによるセグメンテーション性能を改善することができた．しかしながら，改善幅は僅かであり，また画像変換で出力された画像の外観の本物らしさにも未だ課題があることから，今後さらなる改良が必要であり，当初2年目からと計画していた細胞追跡への拡張は遅れている．また，当初計画では当該年度の1月頃から，開発した方法を多種多様なデータセットならびに深層学習モデルに適用する予定であったが，現状は LIVECell データセットおよび Cellpose モデルへの適用にとどまっている．

Strategy for Future Research Activity

研究の進捗に遅延が発生しているが，他業務へのエフォートを調整することで遅れを取り戻そうとしているため，現時点で研究計画を大きく変更する必要はないと考えている．当初の計画通り，早急にセグメンテーション用の画像変換法を確立させ，多様なデータセットおよび多様なモデルを用いた実験を実施する．続いて，セグメンテーション用の方法を拡張する形で細胞追跡用の画像変換法の開発を進め，令和6年度内に方法を確立させる．

Causes of Carryover

次年度使用額が生じた主な理由は，研究進捗の遅延により，論文や学会発表として研究成果を公表することができず，旅費や雑費 (論文投稿料・学会参加費) を支出しなかったためである．
次年度使用額については，研究の進捗に応じた成果発表と情報収集のため，複数の学会への参加を予定しているため，旅費および雑費 (学会参加費) として使用する．