2023 Fiscal Year Research-status Report
Application of large language models to medical natural language processing
| Project/Area Number |
23KK0148
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
西尾 瑞穂 神戸大学, 未来医工学研究開発センター, 特命講師 (50581998)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤本 晃司 京都大学, 医学研究科, 特定准教授 (10580110)
松尾 秀俊 神戸大学, 医学部附属病院, 助教 (20878251)
|
|---|
| Project Period (FY) |
2023-09-08 – 2026-03-31
|
| Keywords | 深層学習 / 自然言語処理 / 放射線診断学 / レポート / summarization |
|---|
| Outline of Annual Research Achievements |
今年度、JMIDと呼ばれる日本医学放射線学会が管理・運用するデータベースを利用できた。JMIDのデータベースから100万件以上の放射線診断レポートを収集し、そのレポートから文章に関する深層学習のtransformerのモデルを作成した。作成したモデルでは、レポートの所見欄から診断欄を自動生成が可能となった。このモデルを評価し、その結果が査読付き英文誌に掲載された。また、transformer・大規模言語モデルの一つであるChatGPTを使って、レポートから肺癌のTNM分類を推定するモデルの作成も行い、NTCIR17でconference paperとして発表した。
胸部単純レントゲン写真からレポートの文章を直接に自動生成するシステムを作成した。作成したモデルはtransformerをベースにしたVision and Languageのモデルで、事前学習済みのtransformerをfine tuningすることでレポートの生成が可能となった。今年度は英語のレポートのみを対象とし、英語の文章としては問題のないレポートが生成出来た。上記に加えて、レポートの文章や医療画像に関する深層学習のモデルを作り、複数の論文が査読付き英文誌に掲載された。
上記の業績の一部はスイスのチューリッヒ大学との国際経共同研究の成果であった。2024年4月からは分担研究者の一人がチューリッヒ大学に留学し、数か月間チューリッヒ大学で共同研究をする予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
進捗として、主に(i)放射線診断レポートについての自然言語処理の研究、(ii)チューリッヒ大学との国際共同研究の結果が論文などに掲載されたこと、(iii)2024年4月から分担研究者がチューリッヒ大学での留学を開始したこと、の三つがあった。これらの点から研究はおおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
transformerベースの大規模言語モデルの放射線医学への応用について、チューリッヒ大学との国際共同研究を進める。2024年度は分担研究者が留学しているため、進捗が期待できる。
|
| Causes of Carryover |
想定よりも、ワークステーションのGPUの費用を抑えることが出来たため。
|
| Remarks |
業績のうちNTCIR-17のconference paperにはDOIがあるが、入力すると科研費のシステムでエラーが出る。
NTCIR-17のconference paperのDOIは次の二つである。10.20736/0002001283、10.20736/0002001299
|
