Development of a BERT Fine-Tuning Model Specialized in Diagnosis.

• Project/Area Number: 23K11315
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62010:Life, health and medical informatics-related
• Research Institution: Chiba University
• Principal Investigator: 横川 大樹 千葉大学, 医学部附属病院, 特任助教 (80779869)
• Co-Investigator(Kenkyū-buntansha): 野村 行弘 千葉大学, フロンティア医工学センター, 准教授 (60436491)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
• Keywords: BERT / 医中誌 / ファインチューニング / 診断

Outline of Research at the Start

自然言語処理技術の発展は目覚ましいですが、疾病の診断を自動で行うシステムの開発は未だ発展途上です。自然言語処理モデルであるBERTは、事前学習モデルのファインチューニングによって、特定の目的に特化した言語モデルを構築できます。
この研究では日本語医学学術文献データベースである医中誌Webの180万件の抄録テキストデータを用いたてBERT事前学習モデル（医中誌BERT）を作成します。次に診療録と診断名のデータセットを用いてファインチューニングし、診断に特化したBERTモデル（診断BERT）を作成します。本研究によって病歴に基づいて駆動する自動診断システムや診断支援システムの開発の助けになります。