2023 Fiscal Year Research-status Report
放射線診断学の画像とレポートを用いた深層学習の応用
| Project/Area Number |
22K07665
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
西尾 瑞穂 神戸大学, 未来医工学研究開発センター, 特命講師 (50581998)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤本 晃司 京都大学, 医学研究科, 特定准教授 (10580110)
杉山 治 近畿大学, 情報学部, 准教授 (40586038)
倉田 靖桐 京都大学, 医学研究科, 助教 (40836178)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 自然言語処理 / 放射線診断学 / レポート / summarization / multi-modal model |
|---|
| Outline of Annual Research Achievements |
JMIDと呼ばれる日本医学放射線学会が管理・運用するデータベースを利用できるようになった。JMIDのデータベースから100万件以上の放射線診断レポートを収集し、そのレポートから文章に関する深層学習のtransformerのモデルを作成した。作成したモデルでは、レポートの所見欄から診断欄を自動生成が可能となった。このモデルを評価し、その結果が査読付き英文誌に掲載された。また、transformerの一つであるChatGPTを使って、レポートから肺癌のTNM分類を推定するモデルの作成も行い、NTCIR17でconference paperとして発表した。
前年に引き続き、胸部単純レントゲン写真からレポートの文章を直接に自動生成するシステムを作成した。作成したモデルはtransformerをベースにしたVision and Languageのモデルで、事前学習済みのtransformerをfine tuningすることでレポートの生成が可能となった。今年度は英語のレポートのみを対象としているが、英語の文章としては問題のないレポートが生成出来た。
上記に加えて、医療画像に関する深層学習のモデルを複数作り、その論文が査読付き英文誌に掲載された。主なものとしては、膀胱癌の自動セグメンテーションのモデル、COVID19のレントゲン写真のコンピューター支援診断のモデル、心周囲脂肪の深層学習のモデル、病理画像の鑑別モデルなどがあげられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、主に(i)放射線診断レポートについての自然言語処理の研究、(ii) 胸部単純レントゲン写真からレポートの文章を生成するtransformerをベースのシステムの開発、(iii)
医療画像に関する深層学習のモデル、の三つを行った。この点から研究はおおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
今後は、JMIDのデータベースを使って、CTやMRIの画像から直接レポートの文章を生成するシステムの開発を行う予定である。
|
| Causes of Carryover |
新型コロナの影響で、学会発表を控えたため。
|
| Remarks |
業績のうちNTCIR-17のconference paperにはDOIがあるが、入力すると科研費のシステムでエラーが出る。
NTCIR-17のconference paperのDOIは次の二つである。10.20736/0002001283、10.20736/0002001299
|
