| Project/Area Number |
22K10388
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 58010:Medical management and medical sociology-related
|
|---|
| Research Institution | Fukushima Medical University |
|---|
Principal Investigator |
大前 憲史 福島県立医科大学, 公私立大学の部局等, 講師 (60645430)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
片岡 裕貴 京都大学, 医学研究科, 客員研究員 (10814379)
マスワナ 紗矢子 東京理科大学, 教養教育研究院葛飾キャンパス教養部, 准教授 (60608933)
荒牧 英治 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (70401073)
金丸 敏幸 京都大学, 国際高等教育院, 准教授 (70435791)
水本 篤 関西大学, 外国語学部, 教授 (80454768)
栗田 宜明 福島県立医科大学, 公私立大学の部局等, 特任教授 (80736976)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 査読 / 医学論文 / 自然言語処理 / ランダム化比較試験 / 大規模言語モデル / コーパス / Move分析 |
|---|
| Outline of Research at the Start |
まず、公開査読制を採用する医学研究雑誌の査読レポートを集積し、査読に特化した膨大な言語表現データベース（コーパス）を構築する。さらに、コーパスを利用して、医学研究のデザインや方法論的枠組みに着目した疫学的分析と査読特有の構造や評価表現に着目した言語学的分析から、査読者の思考や嗜好を質と量の両面から明確化する。構築したコーパスや明確化した査読者の思考や嗜好は、査読教育用の資材としても活用することを想定する。
|
| Outline of Annual Research Achievements |
研究の第一段階として、我々はまず、査読者コメントを意味的なまとまりに分類し、各パートに意味づけするアノテーションを行った。今回は、公開査読制を採用し、かつ4大トップジャーナルの１つとして知られるThe British Medical Journal (BMJ)に焦点を絞り、BMJに掲載されたランダム化比較試験（RCT）論文に対する査読レポートを解析した。
その後、2022年11月に米国のOpenAI社がChatGPTをリリースしたことを皮切りに、膨大なテキストデータを用いて訓練された先進的な大規模言語モデルが次々と登場し、比較的安価で簡単に利用できるようになった。訓練に用いられたテキストデータには医学研究や論文に関するものも多く含まれており、医学分野での応用事例もいくつか報告された。本研究の計画当初の最も大きな目的は、医学論文査読に特化したコーパスの構築であったが、これら大規模言語モデルの性能の高さからコーパス構築の必要性は高くないとの判断に至った。実際、上記アノテーション作業には関わっていない臨床医兼研究者2名とChatGPT（モデル：GPT-3.5-turbo）それぞれ別々に査読レポートの言語解析を行ってもらったところ、解析結果の一致割合は人同士の方が高かったものの、ChatGPTによる解析結果も十分に理解・許容可能なものであった。
そこで、我々は査読作業における大規模言語モデルの有効性を検討した先行研究について文献レビューを実施した。見つかった文献のうち、模擬査読でGPT-4の有効性を明らかにした論文では、解析に用いられたプロンプトも公開されていた。目下、それらを応用し、GPT-4を併用したさらなる査読レポートの言語解析に取り組んでいる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上述の通り、大規模言語モデルが登場し解析にも活用できるようになったことで、当初の目的であった医学論文査読に特化したコーパスの構築は不要になった。さらに、言語解析にも応用できることがわかり、新たに関連文献のレビューを追加して知見を深めた。全体的な進捗は概ね、順調と考える。
|
| Strategy for Future Research Activity |
今後は、引き続きGPT-4をはじめとする大規模言語モデルを活用しながら、さらに査読者コメントの言語解析を進め、特に統計査読者や患者査読者など、査読者の立場の違いがコメントの対象や内容にどのような影響を与えるかに着目していく。さらに、特に日本の臨床家が論文執筆の際、簡単ですぐに参照できるようなReviewer at Handといった仕組みを実装できるよう引き続き研究を進めていく。
|
