2022 Fiscal Year Research-status Report

Empirical analysis of peer review reports on medical articles and its application to medical education

Research Project

Project/Area Number	22K10388
Research Institution	Fukushima Medical University
Principal Investigator	大前憲史福島県立医科大学, 公私立大学の部局等, 講師 (60645430)
Co-Investigator(Kenkyū-buntansha)	片岡裕貴京都大学, 医学研究科, 客員研究員 (10814379) マスワナ紗矢子東京理科大学, 教養教育研究院葛飾キャンパス教養部, 准教授 (60608933) 荒牧英治奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (70401073) 金丸敏幸京都大学, 国際高等教育院, 准教授 (70435791) 水本篤関西大学, 外国語学部, 教授 (80454768) 栗田宜明福島県立医科大学, 公私立大学の部局等, 特任教授 (80736976)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	査読 / 医学論文 / 自然言語処理 / ランダム化比較試験
Outline of Annual Research Achievements	論文の質を複数人の専門家で評価する査読の仕組みは、医学エビデンス創出の基盤を成す。しかし、日本では、臨床医が忙しい臨床の傍ら研究に従事することも多く、査読を学ぶ機会は劇的に不足する。また、査読そのものも、性質上閉鎖的で、実態が不透明な部分も多く、査読教育を行う上での大きな障壁となってきた。本研究は、実証的エビデンスに基づき現行の査読の実態を明らかにし、効果的な査読教育の開発に繋げることを目的とする。まず、研究の第一段階として、公開査読制を採用する医学研究雑誌のうち、4大トップジャーナルの１つとしても知られるThe British Medical Journal (BMJ)に絞って、BMJに掲載されたランダム化比較試験（RCT）論文に対する査読レポートを解析することにした。トップジャーナルでは一流の査読者が査読を行うため、質の高い査読レポートの入手が期待できる。また、観察研究と比較して、RCTでは研究の方法論がある程度決められており、査読レポートも構造化しやすいことが想定される。さらに、RCTは医学以外の領域でも広く用いられる研究デザインであり、得られた知見の汎用性も期待できる。そこで、BMJで出版されたRCT論文のうち、出版時期が最近のものから適当に10本抽出した（うち、2本は最初の査読結果でRejectと判断されたものを含めるようにした）。査読を受ける前の原稿とそれに対する初回の査読レポートをBMJのウェブサイトからPDFファイルで入手し、Pythonを用いて査読者のコメント部分のみ自動的に抽出できるようにした。その上で、2本のRCT論文に対する計10名の査読者コメントを意味的なまとまりに分類し、各パートに意味づけするアノテーションを2名の臨床疫学専門家が独立して作業した。その後、言語学および教育学の専門家も加わって最終的に両者の合意形成がなされた。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 同一の医学雑誌であっても査読者による査読レポートの形式上の異質性が当初の想定よりもはるかに高かったため、元のPDFファイルから必要なデータを自動的に抽出するためのプログラミングが複雑となった。また、自動的に抽出しても、その後手作業で修正しなければならない部分も少なくなく、人による作業量が想定より大幅に増加し、結果的に研究期間の前半の進捗は当初の予定より時間を要した。しかし、後半は前半に構築したシステムを用いることで作業が効率的に進み、期間全体で見れば概ね順調に進展していると言える。
Strategy for Future Research Activity	今後は、さらに解析する査読レポートの数や種類を増やして査読者コメントの意味的・構造的分類（MoveやStep）についての理論的な飽和を目指す。その上で、コーパスに取り込んだデータを利用して、査読の各パートでどのような言語表現が使用されることが多いか、評価表現辞書を用いた言語学的解析を加えていく予定である。
Causes of Carryover	初年度の作業では、予定していた打合せおよび資料取集について、全て遠隔会議で事足りたため、交通費・宿泊費を使用しなかった。また、当初参加を予定していた海外の国際学会はコロナ感染症に伴う行動規制で参加がかなわなかったため、交通費や宿泊費を使用しなかった。次年度には、対面での打合せや現地での資料取集、成果報告のための学会参加が行われる予定であり、随時適正に使用される予定である。