緩和型教師付き学習によるディープバイオイメージング

• Project Area: Resonance Biology for Innovative Bioimaging
• Project/Area Number: 18H04745
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Research Institution: Tokyo Denki University
• Principal Investigator: 日高 章理 東京電機大学, 理工学部, 准教授 (70553519)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000); Fiscal Year 2018: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 深層学習 / 顕微鏡画像 / 鮮明化 / ノイズ除去 / バイオイメージング / 畳み込みニューラルネットワーク / Pix2pix / U-net

Outline of Annual Research Achievements

ノイズを含むCLSM画像からのナノシート検出：CLSMにより，被写体の動態を細かく捉えているが高感度化によりノイズが多い高FPS画像系列{X}と，その逆（動きは荒いが比較的低ノイズ）である低FPS画像系列{Y}が得られたとき，{Y}に人工ノイズを加えたデータ{Y}'から{Y}に映った液晶中ナノシートを検出する写像をU-net法で構築し，高FPSの不鮮明な動画系列{X}から安定的にナノシートを検出することが可能となった(ICARCV2018，KEM.804.11-2019)．
疑似画質劣化写像を用いた低画質顕微鏡画像の鮮明化：撮像原理が同一だが性能が大きく異なる2台の顕微鏡で撮影した画像のうち，鮮明な画像H（高性能顕微鏡画像）を不鮮明な画像L（低性能顕微鏡画像）の見え方に似るようにノイズを加えて作成した疑似低画質画像L'を用い，画像ペア(L', H)によってPix2Pix法の学習を行うことにより，不鮮明画像Lの鮮明化を行うことが可能となった．
疑似画質劣化写像を用いた広範囲(低ズーム)顕微鏡画像の高ズーム化：一台の顕微鏡で同一試料を異なるズーム倍率により2度撮影したとき，低倍率(低精細)だが広範囲を捉えた画像Lと，高倍率(高精細)だが撮影範囲が狭い画像Hのペア(L, H)が手に入る．このペアに対して疑似画質劣化写像を用いた低画質顕微鏡画像の鮮明化手法を適用し，低倍率画像Lを高倍率画像H並に高精細化することが可能となった．これにより，試料の広範囲を捉えた低倍率画像を高精細化して広範囲の疑似高倍率画像を得られるようになった．

Research Progress Status

令和元年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和元年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Detecting Nanosheet Objects from Noisy CLSM Images Using Deep Learning Approach (2019)
  • Author(s): Fujioka Hiroyuki、Sawangphol Jarupat、Anraku Shinya、Miyamoto Nobuyoshi、Kino Hitoshi、Hidaka Akinori
  • Journal Title: Key Engineering Materials Volume: 804 Pages: 11-15
  • DOI: 10.4028/www.scientific.net/kem.804.11
  • Peer Reviewed / Int'l Joint Research
• [Presentation] 人工画質劣化画像からのPix2pix 法による画質復元写像の獲得と低画質顕微鏡画像の高画質化 (2019)
  • Author(s): 松本佑志，日高章理
  • Organizer: 第51回測自動制御学会北海道支部学術講演会
• [Presentation] Understanding Deformation Motion of Colloidal Nanosheets from CLSM Images using Deep Learning-based Approach (2018)
  • Author(s): Fujioka Hiroyuki、Sawangphol Jarupat、Anraku Shinya、Miyamoto Nobuyoshi、Hidaka Akinori、Kano Hiroyuki
  • Organizer: 2018 15th International Conference on Control, Automation, Robotics and Vision (ICARCV)
  • Int'l Joint Research