• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Verification and improvement of Large Language Models utilizing structured medical data, and development of a method for explaining model outputs

Research Project

Project/Area Number 24K15166
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62010:Life, health and medical informatics-related
Research InstitutionKumamoto University

Principal Investigator

野原 康伸  熊本大学, 大学院先端科学研究部(工), 准教授 (30624829)

Co-Investigator(Kenkyū-buntansha) 松本 晃太郎  九州大学, 医学研究院, 助教 (60932217)
Project Period (FY) 2024-04-01 – 2028-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2027: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2026: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords大規模言語モデル / 電子クリニカルパス / 説明できるAI / RAG / クリニカルパス / 診療テキスト / 機械学習 / 解釈手法
Outline of Research at the Start

大規模言語モデル(LLM)は、読解や文章生成などの自然言語処理で優れた能力を有しており、医療分野でも活躍が期待されるが、信頼性等の面で課題を抱えている。LLMの学習や検証には、大量の正解ラベルデータが必要であるが、医療データでは専門家の人手が必要であり、その収集には特段の労力を要する。本研究では、電子クリニカルパスという我々が保有する質の高い構造化医療データ基盤を活用することで、効率よく大量の正解ラベルを収集し、LLMの検証と改良を継続的に行うとともに、そのオープンデータ化を目指す。

Outline of Annual Research Achievements

大規模言語モデル(LLM)は、読解や文章生成などの自然言語処理で優れた能力を有しており、医療分野でも活躍が期待されるが、信頼性等の面で課題を抱えている。LLMの学習や検証には、大量の正解ラベルデータが必要であるが、医療データでは専門家の人手が必要であり、その収集には特段の労力を要する。本研究では、電子クリニカルパスという我々が保有する質の高い構造化医療データ基盤を活用することで、効率よく大量の正解ラベルを収集し、LLMの検証と改良を継続的に行う。また、人命に関わる医療では結果に対する信頼性・説明性が特に求められるため、シャプレー値を応用した情報抽出結果の根拠説明法を開発する。そして、改良したLLMと説明法を活用し、さまざまな医療業務の改善を図ることを目的とする。
本年度は、まずローカルでのLLM実行環境および検証環境の構築に取り組んだ。医療情報は極めて秘匿性が高いため、外部クラウドではなく厳重に管理されたローカル環境でモデルを動作させる必要がある。また、LLM技術は日々進化しており、使用するモデルやバージョンを頻繁に切り替えて性能比較を行う必要があるため、モデルの導入・評価プロセスを半自動化するワークフローを構築した。
またLLMの検証を行う一環として、電子カルテの各種記載文書から退院時サマリーを自動生成する研究に取り組んだ。医療従事者は週平均10時間以上を文書作成業務に充てているとの報告がある中で、本研究による自動生成支援は、医師の働き方改革を支える重要な一歩となりうる。また、退院時サマリーは、各種文章を元に作成されるため、どこから情報を抽出したかの根拠説明法の題材としても適している。本年度は、コサイン類似度を用いた文章間の引用関係抽出について予備実験を行い、医療情報学連合大会で発表を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

LLM技術の進歩は急激であり想定外のことも多かったが、一方でオープンソースのLLMの開発が進み、ローカル環境での実行が望ましい本研究にとって有利な点も多かった。そのため、トータルとしては当初の計画通り進んだといえる。

Strategy for Future Research Activity

電子クリニカルパスシステムを改修して正解ラベルを生成する基盤を構築し、そのデータを用いてLLMの検証改良を行う。設定する質問の中身については、研究協力者として数名の医師から助言を得る予定である。

Report

(1 results)
  • 2024 Research-status Report
  • Research Products

    (5 results)

All 2024

All Journal Article (3 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (2 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Data-driven prediction of prolonged air leak after video-assisted thoracoscopic surgery for lung cancer: Development and validation of machine-learning-based models using real-world data through the ePath system2024

    • Author(s)
      Tou Saori、Matsumoto Koutarou、Hashinokuchi Asato、Kinoshita Fumihiko、Nakaguma Hideki、Kozuma Yukio、Sugeta Rui、Nohara Yasunobu、Yamashita Takanori、Wakata Yoshifumi、Takenaka Tomoyoshi、Iwatani Kazunori、Soejima Hidehisa、Yoshizumi Tomoharu、Nakashima Naoki、Kamouchi Masahiro
    • Journal Title

      Learning Health Systems

      Volume: 9 Issue: 2 Pages: 1-11

    • DOI

      10.1002/lrh2.10469

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Poststroke Clinical Outcomes in Comparison With Conventional Prognostic Scores: Multicenter, Hospital-Based Observational Study2024

    • Author(s)
      Fumi Irie, Koutarou Matsumoto, Ryu Matsuo, Yasunobu Nohara, Yoshinobu Wakisaka, Tetsuro Ago, Naoki Nakashima, Takanari Kitazono, Masahiro Kamouchi
    • Journal Title

      JMIR AI

      Volume: 3 Pages: e46840-e46840

    • DOI

      10.2196/46840

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Inhibition of dynamin-related protein 1-filamin interaction improves systemic glucose metabolism2024

    • Author(s)
      Kato Y, Ariyoshi K, Nohara Y, Matsunaga N, Shimauchi T, Shindo N, Nishimura A, Mi X, Kim SG, Ide T, Kawanishi E, Ojida A, Nakashima N, Mori Y, Nishida M
    • Journal Title

      British Journal of Pharmacology

      Volume: 181(21) Issue: 21 Pages: 4328-4347

    • DOI

      10.1111/bph.16487

    • Related Report
      2024 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] Maximizing Accuracy of Shapley Additive Explanations with Limited Features - A Quantification of Explanation Fidelity and Trade-off Between Fidelity and Number of Features2024

    • Author(s)
      Yasunobu Nohara
    • Organizer
      IJCAI 2024 Workshop on Explainable Artificial Intelligence
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] 大規模言語モデルを活用したローカル環境における医療文書作成支援システムの開発2024

    • Author(s)
      宮川 悠月, 松本 晃太郎, 野原 康伸
    • Organizer
      第44回医療情報学連合大会
    • Related Report
      2024 Research-status Report

URL: 

Published: 2024-04-05   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi