| Project/Area Number |
23K07154
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 52040:Radiological sciences-related
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
藤本 晃司 京都大学, 医学研究科, 特定准教授 (10580110)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
|
|---|
| Keywords | 深層学習 / 自然言語処理 / 大規模言語モデル |
|---|
| Outline of Research at the Start |
本研究は、医用画像、および質問文を入力、それに対する返答を出力とする医用画像QAエージェントの設計、開発、評価を目的とする。そのために、画像からテキストを生成するモデルであるProgressive Transformerを出発点として、モデルに対する質問の入力部位を３つの異なるアプローチを試し、この３つの異なるアプローチにおける利点と欠点を明らかにする。
|
| Outline of Annual Research Achievements |
胸部X線画像のデータセットであるMIMIC-CXR並びにJMIDを対象として、T5モデルを４種類構築した。定量評価指標としてROUGEスコアを用い、画像診断レポートの要約に関する性能を評価し最も性能の高いモデルを抽出した。また、自動要約されたレポート文の一部について、画像診断医による定性評価を実施した結果、得られたレポート文のうち85-86%が臨床的に有用であると考えられた（Nishio他）。
NTCIR-17のshared taskとして実施された、肺癌を対象とした画像診断レポートからTNM分類を推定するという課題に対して、（１）ChatGPTおよびLangChainを用いたプロンプトエンジニアリングによるzero-shot分類を実施し、T, N, M 各々についてaccuracyが各々 0.3951, 0.8025, 0.9259という結果を得た（Nishio他）。（２）openCALM-7B並びに独自に作成した肺癌のステージングに関するextended QAデータセットを用いて、オンプレミスでfine tuningを実施し、T, N, M 各々についてaccuracyが各々 0.4815, 0.6049, 0.7407という結果を得た(Fujimoto他)。
IU-XrayならびにMIMIC-CXR データセットを対象として、比較対象となる過去レポートの有無をモデルに組み込むことで、胸部X線画像から画像診断レポートを生成するモデルの性能が向上することを示した(Kim他、arXiv)。
COMETと呼ばれるアーキテクチャを画像診断レポートに用いることで、訓練されたモデルが従来のBERTscore, BLEU, CheXbertといった指標に加えて、人間による評価指標と高い相関を持ちうることを示した（Aoms他、arXiv）。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究期間には、（１）胸部Ｘ線画像を対象とした画像診断レポートの要約に関する研究（２）肺癌を対象とした画像診断レポートからのＴＮＭ分類の推定に関する研究（３）胸部Ｘ線画像から画像診断レポートを生成するモデルの性能向上に関する研究（４）生成された画像診断レポートの性能評価指標の改善に関する研究を実施した。（２）においては独自に作成したＱＡpairを用いることで性能の向上を図った。これらの研究成果は、本研究の目的である医用画像ＱＡエージェントの各コンポーネントごとの性能改善に繋がると考えられる。
|
| Strategy for Future Research Activity |
今年度の成果で得られた各コンポーネントごとの性能向上を図りつつ、image-to-text, text-to-textの各コンポーネントの連携部分についても注力してゆく予定である。
|
