2023 Fiscal Year Research-status Report
Multitask Image-Natural Language Correspondence Model Development using Large-Scale Medical Image Dataset
| Project/Area Number |
23K17229
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
松尾 秀俊 神戸大学, 医学部附属病院, 助教 (20878251)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Keywords | 深層学習 / Deeplearning / LLM / 大規模自然言語モデル / LMM |
|---|
| Outline of Annual Research Achievements |
今年度、JMIDと呼ばれる日本医学放射線学会が管理・運用するDBから画像やレポートのデータのダウンロードを行った。現在2万件以上のデータをダウンロードしている。このデータについては現在内容を精査中である。大規模自然言語モデル(LLM)の一種であるGPTを用いてレポートから肺癌のTNM分類を行うモデルを作成し、NTCIR17でconference paperとして発表した。加えてTNM分類においてどういった情報・指示を与えるのが性能に寄与するか、日本語・英語による性能の違いについてECR2024にて発表した。加えて既存のLLMだけでは無く、llama2などのオープンLLMの学習環境を整え、llama2のfinetuningを開始した。上記のNTCIR17のデータを用いてオープンLLMのfinetuningを行っており、その性能への情報や指示への寄与がGPTとどう違うかについて検討を行った。この結果については来るCARS2024にて発表予定である。以前から行っている画像を用いた深層学習モデルの検討についても引き続き行っており、立体の画像と医療情報を加えることによる悪性中皮腫の予後推定精度がどう変わるかについて検討を行ったものがMedical Physics誌に掲載された。その他にも主に医療画像を用いた深層学習モデルや手法について共同研究を行っており、その結果が論文などに掲載されつつある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
データセットが揃い、画像・テキストの学習についても成果が出つつある。加えてLMMについての検討も開始しているため。
|
| Strategy for Future Research Activity |
今後は医療画像を用いたLMMのfinetuningについての検討を加えていく。
|
| Causes of Carryover |
想定よりも、ワークステーションのGPUの費用を抑えることが出来たため
|
| Remarks |
業績のうちNTCIR-17のconference paperにはDOIがあるが、入力すると科研費のシステムでエラーが出る。
NTCIR-17のconference paperのDOIは次の二つである。10.20736/0002001283、10.20736/0002001299
|
