Multitask Image-Natural Language Correspondence Model Development using Large-Scale Medical Image Dataset
| Project/Area Number |
23K17229
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 90130:Medical systems-related
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
松尾 秀俊 神戸大学, 医学部附属病院, 助教 (20878251)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2027: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2026: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 深層学習 / Deeplearning / LLM / 大規模自然言語モデル / LMM / Multi modal / 医療AI |
|---|
| Outline of Research at the Start |
この研究では、医療の現場で役立つAI技術を開発しています。今までのAIは、肺の病気など、1つの目的にしか使えませんでした。しかし、私たちが目指すAIは、たくさんの仕事を同時にこなせる「多タスク対応AI」です。これを実現するために、医療の画像データと、それに関する文章データを組み合わせた技術を使っています。その実現のためにJ-MIDと呼ばれる放射線科の大きな医療データベースを使って、学習を行います。これにより、医療現場でのAIの活用がより簡単になり、患者さんの診断や治療に役立つことが期待されます。この研究で、医療の現場でのAI技術が大きく進歩することを目指しています。
|
| Outline of Annual Research Achievements |
今年度、JMIDと呼ばれる日本医学放射線学会が管理・運用するDBから画像やレポートのデータのダウンロードを行った。現在2万件以上のデータをダウンロードしている。このデータについては現在内容を精査中である。大規模自然言語モデル(LLM)の一種であるGPTを用いてレポートから肺癌のTNM分類を行うモデルを作成し、NTCIR17でconference paperとして発表した。加えてTNM分類においてどういった情報・指示を与えるのが性能に寄与するか、日本語・英語による性能の違いについてECR2024にて発表した。加えて既存のLLMだけでは無く、llama2などのオープンLLMの学習環境を整え、llama2のfinetuningを開始した。上記のNTCIR17のデータを用いてオープンLLMのfinetuningを行っており、その性能への情報や指示への寄与がGPTとどう違うかについて検討を行った。この結果については来るCARS2024にて発表予定である。以前から行っている画像を用いた深層学習モデルの検討についても引き続き行っており、立体の画像と医療情報を加えることによる悪性中皮腫の予後推定精度がどう変わるかについて検討を行ったものがMedical Physics誌に掲載された。その他にも主に医療画像を用いた深層学習モデルや手法について共同研究を行っており、その結果が論文などに掲載されつつある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
データセットが揃い、画像・テキストの学習についても成果が出つつある。加えてLMMについての検討も開始しているため。
|
| Strategy for Future Research Activity |
今後は医療画像を用いたLMMのfinetuningについての検討を加えていく。
|
Report
(1 results)
Research Products
(8 results)
