Development of disease sign recognition algorithm and high-resolution transformation of in vivo tongue mucosa image applying deep learning technologies

2019 Fiscal Year Research-status Report

• Project/Area Number: 19K10190
• Research Institution: The Nippon Dental University
• Principal Investigator: 吉村 建 日本歯科大学, 新潟生命歯学部, 准教授 (90297953)
• Co-Investigator(Kenkyū-buntansha): 山際 伸一 筑波大学, システム情報系, 准教授 (10574725) ; 土田 智子 日本歯科大学新潟短期大学, その他部局等, 講師 (30341994) ; 岩崎 信一 北陸大学, 医療保健学部, 教授 (70147833) ; 中村 直樹 日本歯科大学新潟短期大学, その他部局等, 教授 (80198225) ; 浅沼 直樹 日本歯科大学新潟短期大学, その他部局等, 教授 (90231886)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 口腔粘膜 / 超解像 / 機械学習

Outline of Annual Research Achievements

我々が先に論文公表（Tsuchida, Yoshimura, Yamagiwa et al., Odontology 2020）した被験者の口腔粘膜画像のデータセットを用いて解析するべく、本学研究倫理委員会委員に諮問を行った。その助言に従い、被験者全員に本研究計画におけるデータの二次利用を行う旨の告知を行った。その上でデータの二次利用に関し、拒否の意思の有無の確認（「オプトアウト」）を行った。同時に、画像データから個人名などの情報が付与されているか確認を行い、必要に応じ削除を行ったうえ本人の特定ができない状態とした。このデータに加え、先の研究で取得した医療情報アンケート情報の紐付けも併せて行った。
それとともに上記のデータを格納し、計算処理を行うためにセキュアな処理サーバの開発環境の構築ならびに実装を行った。当サーバの操作に関してはSSL(128bit)で暗号化されたアクセスにより行うことになっている。このサーバにアクセスして各種操作・計算処理を行った。
これらの研究環境の整備を行ったうえで、１）画像の超解像処理、ならびに２）粘膜上の解剖学的特徴による検出の試行について行った。
一方、これとは別に現在公開されている物体の位置と種類を検出できる機械学習ソフトウエアであるYOLOv3と、深層学習モジュールを簡便に構築・試行できるSONY Neural Network Console (NNC)のGPUが搭載されたＰＣ上への試行的実装ならびに一般的な画像セットによる動作検証と評価に関しても併せて行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新型コロナウイルス感染症拡大のため研究者の往来ができない状態となっているが、オンラインアクセスが可能な処理サーバの実装を昨年夏に終え、運用を開始している。またオンライン会議による研究者間の意思疎通も確保できており、影響は少ない。

Strategy for Future Research Activity

先に述べたサーバにおいて、被検者の画像情報にアノテーション形式で医療情報アンケートの結果の紐付けを行う。さらにすでに公開されている超解像処理プログラムの実装も試み、画像からの機械による分類の試行も行なっていく。

Causes of Carryover

今回当初予定されていた外部ＧＰＵサーバの時間借り（タイムシェアリング）の利用に至らなかった。来年度において計算処理が本格化した際、当該費用を充当する。また、共同研究者の会議・打ち合わせも計上していたが、多く行なわなかった。こちらについても次年度以降に（コロナウイルス流行の終息状況なども見据えながら）充当する。