A Deep Learning Approach to Synthesize FLAIR Image from T1WI and T2WI

• Project/Area Number: 19K17271
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 52040:Radiological sciences-related
• Research Institution: Nagoya University (2020); The University of Tokushima (2019)
• Principal Investigator: 阿部 考志 名古屋大学, 医学部附属病院, 助教 (40645347)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Project Status: Granted (Fiscal Year 2020)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2020: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: ディープラーニング / 深層学習 / 画像合成 / 頭部MRI / 医用画像解析 / Deep Learning / Image Generation / MRI / Neural Network / Machine Learning

Outline of Research at the Start

人工知能を用いて、MRI画像の新たな合成方法を開発します。MRI画像は病気の診断のために必要不可欠ですが、撮影時間が長いのが問題です。MRIにはT1強調画像（WI）、T2WI、FLAIRなど様々な画像があり、これらを別々に撮影する必要があるため時間が長くかかってしまいます。
この研究では人工知能でT1WIやT2WIからFLAIR画像を合成し、診療の役に立つ医用画像を得ることを目的としています。T1WIやT2WIを人工知能に入力して画像合成を行い、FLAIRにより類似した画像が合成できるように人工知能を調整していきます。

Outline of Annual Research Achievements

当該年度は主に環境整備を行った。環境整備として研究解析用コンピューターにおいて24GB×2台の大量のデータを処理できる画像処理用メモリーを搭載した解析装置を整備した。
環境構築の安定化・高速化のために仮想環境の整備を行った。深層学習の研究では、解析に使用するハードウェアに対して適切なソフトウェアを整備する必要がある。深層学習では急速に研究が進んでいるため、そのソフトウェアの更新頻度も高い。中でもCUDA、cuDNNと言われるソフトウェアは、深層学習ソフトウェアに対して適切な物をインストールしなければ深層学習を行うことが出来ないが、これはコンピューター1台に対して1種類しかインストール出来ないために、異なる手法の深層学習を試す際にはCUDAの再インストールが必要となったり、その過程でコンピューターが動作不良となって解析が中断するようなトラブルも多かった。また、深層学習にはソフトウェアを補助するライブラリをインストール必要もあり、この中でも実験的なライブラリが動作不良を起こし、解析用コンピューターでの解析に支障を生じることもあった。こういった場合に一からコンピューターを再調整するため、研究が中断してしまう問題があった。
この解決のために仮想環境の整備を行い、コンピューター本体へのソフトウェアのインストールは最低限に留めておくこととした。仮想環境上で各種ソフトウェアやライブラリをインストールすることで、再構築の際の負担が減少した。
なお、当該年度、研究者は研究施設を移籍し、それに伴う事務作業や業務変更への適応なども行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本来今年度には様々な深層学習手法を試して画像の改善を図る予定であった。しかしながらその過程において、上述のように解析コンピューターに不具合が起きる場合があったため、その予防のために仮想環境の導入を行った。これによりトラブルは減ったものの、研究自体を進める時間が十分に確保できず、予定された全手法を試すことは出来ていない。
しかしながら、「深層学習を通じて医療画像診断を改善する」といった意味では、仮想環境と言ったより安定的な研究環境を保持する経験を得ることが出来ているため、今後はトラブルも減り、より安定的に研究が進めやすくなっている状況ではある。
また、研究者は当該期間に研究機関の移籍を行った。移籍先は移籍元よりも大型の施設であり、全体としてより高度な研究が可能であるものの、移籍後は業務の変更への十分な習熟が得られていないこともあり、若干の研究の遅れが発生してしまっている。この点に関しても、移籍先施設の業務に徐々に習熟しつつあり、長期的には研究の高度化が期待できるものである。
現時点では当該年度はやや遅れていると判断した。

Strategy for Future Research Activity

T1WIとT2WIという基本的な画像から、病変検出に優れたFLAIR画像を合成していく作業を本格的に実行していく期間に該当する。環境がより整備されたことで、以前よりもトラブルが少なく、予定された様々な研究手法を実施可能であり、実験計画書に従って研究を進めていく。
また、これまでの研究において、従来法と比較してより精度の高い画像合成手法を構築することは既に可能となっており、すでに国際学会において発表済みである。このため、当該手法の論文による報告も行っていく。