| 研究課題/領域番号 |
22K10388
|
|---|
| 研究機関 | 福島県立医科大学 |
|---|
研究代表者 |
大前 憲史 福島県立医科大学, 公私立大学の部局等, 講師 (60645430)
|
|---|
| 研究分担者 |
片岡 裕貴 京都大学, 医学研究科, 客員研究員 (10814379)
マスワナ 紗矢子 東京理科大学, 教養教育研究院葛飾キャンパス教養部, 准教授 (60608933)
荒牧 英治 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (70401073)
金丸 敏幸 京都大学, 国際高等教育院, 准教授 (70435791)
水本 篤 関西大学, 外国語学部, 教授 (80454768)
栗田 宜明 福島県立医科大学, 公私立大学の部局等, 特任教授 (80736976)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 査読 / 医学論文 / 自然言語処理 / ランダム化比較試験 / 大規模言語モデル |
|---|
| 研究実績の概要 |
研究の第一段階として、我々はまず、査読者コメントを意味的なまとまりに分類し、各パートに意味づけするアノテーションを行った。今回は、公開査読制を採用し、かつ4大トップジャーナルの１つとして知られるThe British Medical Journal (BMJ)に焦点を絞り、BMJに掲載されたランダム化比較試験（RCT）論文に対する査読レポートを解析した。
その後、2022年11月に米国のOpenAI社がChatGPTをリリースしたことを皮切りに、膨大なテキストデータを用いて訓練された先進的な大規模言語モデルが次々と登場し、比較的安価で簡単に利用できるようになった。訓練に用いられたテキストデータには医学研究や論文に関するものも多く含まれており、医学分野での応用事例もいくつか報告された。本研究の計画当初の最も大きな目的は、医学論文査読に特化したコーパスの構築であったが、これら大規模言語モデルの性能の高さからコーパス構築の必要性は高くないとの判断に至った。実際、上記アノテーション作業には関わっていない臨床医兼研究者2名とChatGPT（モデル：GPT-3.5-turbo）それぞれ別々に査読レポートの言語解析を行ってもらったところ、解析結果の一致割合は人同士の方が高かったものの、ChatGPTによる解析結果も十分に理解・許容可能なものであった。
そこで、我々は査読作業における大規模言語モデルの有効性を検討した先行研究について文献レビューを実施した。見つかった文献のうち、模擬査読でGPT-4の有効性を明らかにした論文では、解析に用いられたプロンプトも公開されていた。目下、それらを応用し、GPT-4を併用したさらなる査読レポートの言語解析に取り組んでいる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
上述の通り、大規模言語モデルが登場し解析にも活用できるようになったことで、当初の目的であった医学論文査読に特化したコーパスの構築は不要になった。さらに、言語解析にも応用できることがわかり、新たに関連文献のレビューを追加して知見を深めた。全体的な進捗は概ね、順調と考える。
|
| 今後の研究の推進方策 |
今後は、引き続きGPT-4をはじめとする大規模言語モデルを活用しながら、さらに査読者コメントの言語解析を進め、特に統計査読者や患者査読者など、査読者の立場の違いがコメントの対象や内容にどのような影響を与えるかに着目していく。さらに、特に日本の臨床家が論文執筆の際、簡単ですぐに参照できるようなReviewer at Handといった仕組みを実装できるよう引き続き研究を進めていく。
|
| 次年度使用額が生じた理由 |
大規模言語モデルを言語解析に十分利用できることが判明し、当初購入予定であった言語解析用のハードやソフトを購入する必要がなくなった。一方で、解析ツールや手法が変更になったため、それらに伴う諸費用を次年度に使用予定である。また、当該年度に参加予定であった学会への参加が次年度の学会参加予定に変更となったため、次年度にその費用を計上予定である。
|
