Integration of Crowdsourcing and Machine Learning for Large-scale Transcription of Pre-modern Historical Manuscripts

2019 Fiscal Year Final Research Report

• Project/Area Number: 18K18338
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 90020:Library and information science, humanistic and social informatics-related
• Research Institution: National Museum of Japanese History
• Principal Investigator: Hashimoto Yuta 国立歴史民俗博物館, 大学共同利用機関等の部局等, 助教 (10802712)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Keywords: クラウドソーシング / 翻刻 / IIIF / くずし字 / 歴史資料 / 文字認識

Outline of Final Research Achievements

This research program aimed to develop a efficient method for transcribing pre-modern Japanese documents written with cursive characters (kuzushiji). Although the program initially planned to develop an OCR technology for kuzushiji on its own, this field has rapidly advanced over the past few years against the author's expectation.
This led the author to collaborate with the AI researchers who study the OCR technology for kuzushiji, rather than to compete with them. Through this collaboration, the author launched in 2019 a new version of "Minna de Honkoku", a crowdsourced transcription platform that supports automatic recognition of kuzushiji. Since its launch, 2.5 million characters have been transcribed on this platform by more than 800 participants.

Free Research Field

人文情報学

Academic Significance and Societal Importance of the Research Achievements

AI認識に対応した「みんなで翻刻」は、300日の短期間で250万字ものテキスト化を成し遂げた。本研究成果の直接的な意義のひとつは、AIの支援を通じて市民による翻刻作業の効率化が実際に可能であることを実際に示したことにある。
より大きな観点での成果は、技術の適切な組み合わせによって、①人文学研究者、②市民、③AI技術（およびその研究者）の三者が互恵的な関係を築くことが可能であると示したことにある。AI技術の発展が人文学研究と市民参加型研究の将来にもたらす影響について、これまで様々な議論がなされてきたが、本研究の成果は重要な参考事例のひとつになるはずである。