| Project/Area Number |
22K07665
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 52040:Radiological sciences-related
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
西尾 瑞穂 神戸大学, 未来医工学研究開発センター, 特命講師 (50581998)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤本 晃司 京都大学, 医学研究科, 特定准教授 (10580110)
杉山 治 近畿大学, 情報学部, 准教授 (40586038)
倉田 靖桐 京都大学, 医学研究科, 助教 (40836178)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
|
|---|
| Keywords | 深層学習 / 自然言語処理 / 放射線診断学 / レポート / summarization / multi-modal model / クロスモーダル学習 / 医用画像処理 / 医用自然言語処理 |
|---|
| Outline of Research at the Start |
放射線診断学の研究の大部分は画像の評価・処理を目的にしたものである。放射線診断レポートが大量に作成されているが、レポートが放射線診断学の直接の研究対象になることは稀である。とくに画像とレポートの両方を使った研究は極めて少ない。本研究では、画像とレポート、および、深層学習による医用画像処理と医用自然言語処理を使って、放射線科医の画像診断の過程をソフトに学習させ、放射線診断をソフトウェアで支援・代行することを目指す。
|
| Outline of Annual Research Achievements |
JMIDと呼ばれる日本医学放射線学会が管理・運用するデータベースを利用できるようになった。JMIDのデータベースから100万件以上の放射線診断レポートを収集し、そのレポートから文章に関する深層学習のtransformerのモデルを作成した。作成したモデルでは、レポートの所見欄から診断欄を自動生成が可能となった。このモデルを評価し、その結果が査読付き英文誌に掲載された。また、transformerの一つであるChatGPTを使って、レポートから肺癌のTNM分類を推定するモデルの作成も行い、NTCIR17でconference paperとして発表した。
前年に引き続き、胸部単純レントゲン写真からレポートの文章を直接に自動生成するシステムを作成した。作成したモデルはtransformerをベースにしたVision and Languageのモデルで、事前学習済みのtransformerをfine tuningすることでレポートの生成が可能となった。今年度は英語のレポートのみを対象としているが、英語の文章としては問題のないレポートが生成出来た。
上記に加えて、医療画像に関する深層学習のモデルを複数作り、その論文が査読付き英文誌に掲載された。主なものとしては、膀胱癌の自動セグメンテーションのモデル、COVID19のレントゲン写真のコンピューター支援診断のモデル、心周囲脂肪の深層学習のモデル、病理画像の鑑別モデルなどがあげられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、主に(i)放射線診断レポートについての自然言語処理の研究、(ii) 胸部単純レントゲン写真からレポートの文章を生成するtransformerをベースのシステムの開発、(iii)
医療画像に関する深層学習のモデル、の三つを行った。この点から研究はおおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
今後は、JMIDのデータベースを使って、CTやMRIの画像から直接レポートの文章を生成するシステムの開発を行う予定である。
|
