Development of disease sign recognition algorithm and high-resolution transformation of in vivo tongue mucosa image applying deep learning technologies

2022 Fiscal Year Annual Research Report

• Project/Area Number: 19K10190
• Research Institution: THE NIPPON DENTAL UNIVERSITY COLLEGE AT NIIGATA
• Principal Investigator: 吉村 建 日本歯科大学新潟短期大学, その他部局等, 教授 (90297953)
• Co-Investigator(Kenkyū-buntansha): 山際 伸一 筑波大学, システム情報系, 准教授 (10574725) ; 土田 智子 日本歯科大学新潟短期大学, その他部局等, 准教授 (30341994) ; 岩崎 信一 北陸大学, 医療保健学部, 教授 (70147833) [Withdrawn] ; 中村 直樹 日本歯科大学新潟短期大学, その他部局等, 教授 (80198225) [Withdrawn] ; 浅沼 直樹 日本歯科大学新潟短期大学, その他部局等, 教授 (90231886)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 舌 / 口腔画像 / 超解像

Outline of Annual Research Achievements

2022年度においては、口腔画像を超解像変換するシステムの実装を試行し出力画像の評価を行った。今回は現在広く利用されているNVIDIA製GPUが搭載され、かつ大容量のビデオRAM（48GB）を持つグラフィックカードを実装したスタンドアロンシステム（ubuntu）を構築した。併せて個人情報にかかわる可能性のある口腔画像はUSBメモリ上に保存し、入出力する形式とした。GPUによる計算を可能とするNvidia社製の汎用並列コンピューティングプラットフォームであるCUDA（cuDNN）のプログラムパッケージもシステム上に実装した。復数の処理アルゴリズムパッケージを実装するため、コンテナ型の仮想環境（Docker）を構築し、それぞれの環境上に処理アルゴリズムとともにPython、PyTorch、Tensorflowなどプログラム実行に必要な深層学習ライブラリとフレームワークの実装を行った。これにより復数のプログラムを実行するための環境をリムーバブルメディアに完結して格納することが可能となった。
超解像変換システムとして2021年度に検討したGANをベースとした復数のアルゴリズムを選択し、口腔画像の処理を行った。入力画像の品質（解像度）が低い場合の処理に関しても評価を行うべく、入力画像の解像度を人為的に低下させて処理を行い、出力画像の比較と評価を行った。口腔画像においては画像細部の検証が難しい場面もあったため、口腔画像以外に微細な構造を持つ画像をテスト画像として試行した。
今回の試行により、解像度の制限などにより細部の形態的特徴が明瞭でない入力画像においても効果的な画像補正並びに解像度変換ができる事が明らかとなった。現在本成果について論文を執筆中である。