2021 Fiscal Year Research-status Report

Development of disease sign recognition algorithm and high-resolution transformation of in vivo tongue mucosa image applying deep learning technologies

Research Project

Project/Area Number	19K10190
Research Institution	The Nippon Dental University
Principal Investigator	吉村建日本歯科大学, 新潟生命歯学部, 教授 (90297953)
Co-Investigator(Kenkyū-buntansha)	山際伸一筑波大学, システム情報系, 准教授 (10574725) 土田智子日本歯科大学新潟短期大学, その他部局等, 准教授 (30341994) 岩崎信一北陸大学, 医療保健学部, 教授 (70147833) [Withdrawn] 中村直樹日本歯科大学新潟短期大学, その他部局等, 教授 (80198225) [Withdrawn] 浅沼直樹日本歯科大学新潟短期大学, その他部局等, 教授 (90231886)
Project Period (FY)	2019-04-01 – 2023-03-31
Keywords	舌 / 口腔画像 / 超解像
Outline of Annual Research Achievements	2021年度においては、元の画像を超解像変換する各種システムの実装の方略について検討を行った。低解像度ならびにフォーカスの甘い画像を入力し、解像度・鮮明度を改善して画像を出力するシステムは、本計画立案時から進歩が見られ、特にここ数年の進歩は飛躍的である。現在数種類のモデルシステムがネット上に公開され、利用が可能となっている。検討していく中でGAN（Generative Adversarial Network）が比較的我々の用途に適していると思われるが、GANには数多くの派生モデルが存在しているため、我々の想定する舌粘膜生体画像に適したモデルについて各種探索した。同時にGAN以外のものも選択肢に加え、実装候補の検討を行った。我々口腔画像サンプルは動画形式であり、画像のかなりの個所にフォーカスの甘い部分なども散見されることから評価が期待できるが、画像サイズは1600x1200ピクセル(UXGA)であり、上記プログラムの動作確認用画像に比べ、大きなものである。よって画像処理可能なVRAM容量を具備するグラフィックボード（GPU）が必要とされる。同時にこれらのプログラムの実行にはNvidiaの排他的コンパイラであるCUDA(cuDNN)が実行可能である必要がある。（よってNvidia社以外、例えばAMD社RadeonなどのGPUは候補から除外される。）実行に適したGPUの選定も併せて継続して行っている。画像処理試行には被検者のものではなく、（研究代表者等から取得された）テスト舌粘膜動画を使用する予定である。またスタンドアロン処理が可能なPCを別途準備する予定である。最終年度である2022年度においてプログラムの試行と生成画像の比較検証と評価などを目指す予定である。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason コロナ感染症の収束未定な中で、当初予定されていた口腔内舌粘膜画像の新たな取得などが困難となったため。
Strategy for Future Research Activity	最終年度である2022年度においては超解像処理に関し、テスト舌粘膜動画ファイルを使用しながら各種試行を進めていきたい。プログラムのPCシステムへの実装に関して支援候補者１名に関し、現在打診を行っている。
Causes of Carryover	コロナ禍のために当初予定された計画実施が思うように進捗できず、助成金使用の執行ができなかったため。2022年度は最終年度でもあり、当該年度交付金と併せ、先述したPCへの超解像度処理プログラムを実装し、口腔舌表面サンプル画像による画像処理の試行を支援者の力も借り、行う予定である。