Establishment of Time Series UV Skin Damage Prediction Methods Based on Deep Learning and Deep State Space Models

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K12058
• Research Institution: Tohoku University
• Principal Investigator: 小島 要 東北大学, 東北メディカル・メガバンク機構, 講師 (10646988)
• Co-Investigator(Kenkyū-buntansha): 山崎 研志 東北大学, 医学系研究科, 准教授 (40294798)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 深層学習 / 肌ダメージ / 紫外線写真 / 敵対的生成ネットワーク / スマートフォン

Outline of Annual Research Achievements

昨年度まで紫外線写真からの色素斑の同定による肌ダメージの測定を目的として、可視光下で撮影の写真から紫外線写真を生成する深層学習モデルの開発を進めていた。昨年度までに開発の手法では、医療機関等に設置された専用の撮影装置により取得された写真を想定していたため、スマートフォン等の一般のデジタルカメラで撮影された写真からは生成される紫外線写真の精度が落ちてしまう問題があった。そこで今年度は、スマートフォン等で撮影された写真からも高い精度での紫外線写真の生成を可能とする手法の開発を進めている。本手法の開発では、スマートフォン等により様々な条件下で撮影された画像データが精度向上において必要となるため、東北大学皮膚科学分野所属の皮膚科専門医らと共同で画像データの収集を進めている。また、昨年度までに開発の手法では学習に必要な画像データが可視光下で撮影の写真と紫外線写真のペアとなっている必要があるが、スマートフォン等で撮影された画像において同様の形態の画像データの収集は困難である。そこで、画像データセットが変換前と変換先の画像のペアとなっていない場合にも画像変換の学習が可能な敵対生成ネットワーク手法CycleGANの枠組みで学習を行うように手法の開発を進めている。また、深層学習モデルも自身もこれまで用いていたU-netだけでなくSelf-attention GANにおいて用いられるより新しいモデルの実装を進め、精度の比較検討を行っている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

専用の撮影装置以外で撮影された写真を入力画像とした場合、生成される紫外線写真の精度が落ちてしまう問題を解決することを今年度の目標としていた。解決方策に向けたデータ収集と手法の実装の双方において進展があり、精度の比較検討からの知見も得られていることから、目標達成に向けて順調に進んでいると考えている。

Strategy for Future Research Activity

日光の暴露による肌ダメージ蓄積の経時点変化の予測を目的として、経時的に取得された可視光下で撮影の写真と紫外線写真の双方の画像データをもとに、可視光下で撮影された写真から現在だけでなく将来における紫外線写真の生成を可能とし、肌ダメージ蓄積の変化を予測する方法の開発を進める予定である。