2023 Fiscal Year Research-status Report
Empirical analysis of peer review reports on medical articles and its application to medical education
| Project/Area Number |
22K10388
|
|---|
| Research Institution | Fukushima Medical University |
|---|
Principal Investigator |
大前 憲史 福島県立医科大学, 公私立大学の部局等, 講師 (60645430)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
片岡 裕貴 京都大学, 医学研究科, 客員研究員 (10814379)
マスワナ 紗矢子 東京理科大学, 教養教育研究院葛飾キャンパス教養部, 准教授 (60608933)
荒牧 英治 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (70401073)
金丸 敏幸 京都大学, 国際高等教育院, 准教授 (70435791)
水本 篤 関西大学, 外国語学部, 教授 (80454768)
栗田 宜明 福島県立医科大学, 公私立大学の部局等, 特任教授 (80736976)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 査読 / 医学論文 / 自然言語処理 / ランダム化比較試験 / 大規模言語モデル |
|---|
| Outline of Annual Research Achievements |
研究の第一段階として、我々はまず、査読者コメントを意味的なまとまりに分類し、各パートに意味づけするアノテーションを行った。今回は、公開査読制を採用し、かつ4大トップジャーナルの１つとして知られるThe British Medical Journal (BMJ)に焦点を絞り、BMJに掲載されたランダム化比較試験（RCT）論文に対する査読レポートを解析した。
その後、2022年11月に米国のOpenAI社がChatGPTをリリースしたことを皮切りに、膨大なテキストデータを用いて訓練された先進的な大規模言語モデルが次々と登場し、比較的安価で簡単に利用できるようになった。訓練に用いられたテキストデータには医学研究や論文に関するものも多く含まれており、医学分野での応用事例もいくつか報告された。本研究の計画当初の最も大きな目的は、医学論文査読に特化したコーパスの構築であったが、これら大規模言語モデルの性能の高さからコーパス構築の必要性は高くないとの判断に至った。実際、上記アノテーション作業には関わっていない臨床医兼研究者2名とChatGPT（モデル：GPT-3.5-turbo）それぞれ別々に査読レポートの言語解析を行ってもらったところ、解析結果の一致割合は人同士の方が高かったものの、ChatGPTによる解析結果も十分に理解・許容可能なものであった。
そこで、我々は査読作業における大規模言語モデルの有効性を検討した先行研究について文献レビューを実施した。見つかった文献のうち、模擬査読でGPT-4の有効性を明らかにした論文では、解析に用いられたプロンプトも公開されていた。目下、それらを応用し、GPT-4を併用したさらなる査読レポートの言語解析に取り組んでいる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上述の通り、大規模言語モデルが登場し解析にも活用できるようになったことで、当初の目的であった医学論文査読に特化したコーパスの構築は不要になった。さらに、言語解析にも応用できることがわかり、新たに関連文献のレビューを追加して知見を深めた。全体的な進捗は概ね、順調と考える。
|
| Strategy for Future Research Activity |
今後は、引き続きGPT-4をはじめとする大規模言語モデルを活用しながら、さらに査読者コメントの言語解析を進め、特に統計査読者や患者査読者など、査読者の立場の違いがコメントの対象や内容にどのような影響を与えるかに着目していく。さらに、特に日本の臨床家が論文執筆の際、簡単ですぐに参照できるようなReviewer at Handといった仕組みを実装できるよう引き続き研究を進めていく。
|
| Causes of Carryover |
大規模言語モデルを言語解析に十分利用できることが判明し、当初購入予定であった言語解析用のハードやソフトを購入する必要がなくなった。一方で、解析ツールや手法が変更になったため、それらに伴う諸費用を次年度に使用予定である。また、当該年度に参加予定であった学会への参加が次年度の学会参加予定に変更となったため、次年度にその費用を計上予定である。
|
