Joint optimization of phisical encoder with object recognition model and its phathological application

• Project/Area Number: 23H05490
• Research Category: Grant-in-Aid for Scientific Research (S)
• Allocation Type: Single-year Grants
• Review Section: Broad Section J
• Research Institution: The University of Osaka
• Principal Investigator: 長原 一 大阪大学, D3センター, 教授 (80362648)
• Co-Investigator(Kenkyū-buntansha): 香川 景一郎 静岡大学, 電子工学研究所, 教授 (30335484) ; 中島 悠太 大阪大学, 産業科学研究所, 教授 (70633551) ; 中村 友哉 大阪大学, 大学院基礎工学研究科, 准教授 (70756709) ; 諸岡 健一 熊本大学, 大学院先端科学研究部(工), 教授 (80323806) ; 柳井 広之 岡山大学, 医療開発領域, 教授 (90379735) ; 荒木 元朗 岡山大学, 医歯薬学域, 教授 (90467746)
• Project Period (FY): 2023-04-12 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥203,970,000 (Direct Cost: ¥156,900,000、Indirect Cost: ¥47,070,000); Fiscal Year 2025: ¥38,740,000 (Direct Cost: ¥29,800,000、Indirect Cost: ¥8,940,000); Fiscal Year 2024: ¥38,220,000 (Direct Cost: ¥29,400,000、Indirect Cost: ¥8,820,000); Fiscal Year 2023: ¥48,360,000 (Direct Cost: ¥37,200,000、Indirect Cost: ¥11,160,000)
• Keywords: コンピュテーショナルフォトグラフィ / 機会学習 / 医療画像処理 / 機械学習

Outline of Research at the Start

従来の深層学習による物体認識モデルの最適化は、あくまでRGBデジタル画像を撮影した後のデジタル層のみを対象としていた。本研究では、光源制御や画像計測といった物理エンコーダをデジタル層のモデルと同時最適化する深層物理センシングのフレームワークを提案する。深層物理センシングでは、エンコーダの一部を物理エンコーダで置き換え、学習により最適化することで単一の符号化画像による高精度の認識を実現する。従来の深層学習が単なる画像認識であるのに対して、計測モダリティを学習により求める本質的な物体認識を実現する。応用ユースケースとして病理診断を対象として本フレームワークが実応用において有効であることを示す。