データ合成と深層学習を用いた歴史的文書の画像解析手法　ー行抽出と行の順序付けー

Research Project

Project/Area Number	22K12736
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 90020:Library and information science, humanistic and social informatics-related
Research Institution	Shibaura Institute of Technology
Principal Investigator	鈴木徹也芝浦工業大学, システム理工学部, 教授 (00323824)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000) Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Keywords	文書画像解析 / 歴史的文書 / データ合成 / 深層学習
Outline of Research at the Start	計算機による歴史的文書（古典籍、古文書など）の翻刻支援の研究では、文書画像中の文字の位置検出と文字のパターン認識とについての研究は進んでいる。しかし検出した各文字の読み順の決定法についてはあまり進んでいない。文字の位置検出に加えて、行の抽出と抽出した行の読み順の決定（順序付）ができれば、検出した文字の読み順が決定できると考えられる。本研究課題では、深層学習を利用した古典籍の文書画像解析手法（行の抽出法、行の順序付け法）を考案および実装した上で評価する。また、深層学習に必要な学習データの合成法についても考案および実装した上で評価する。
Outline of Annual Research Achievements	計算機による歴史的文書（古典籍、古文書など）の翻刻支援の研究では、文書画像中の文字の位置検出と文字のパターン認識とについての研究は進んでいる。しかし検出した各文字の読み順の決定法についてはあまり進んでいない。文字の位置検出に加えて、行の抽出と抽出した行の読み順の決定（順序付）ができれば、検出した文字の読み順が決定できると考えられる。このような背景から本研究は次の２つを目的とする。（１）古典籍を対象とした文書画像解析（行抽出、行の順序付）に利用する深層ニューラルネットワークの構成を提案し、その評価を行うこと。（２）深層ニューラルネットワークのための学習データの合成法を提案し、その評価を行うこと。２０２３年度はセマンティックセグメンテーションによる古典籍文書画像からの行抽出法の評価を行った。対象とする古典籍に似せた古典籍画像とその行中心線画像とを大量に生成した。それを学習データとして、セマンティックセグメンテーションモデルを訓練・検証およびテストした。合成文書画像でのIoUの平均値は９７.６％であった。同じように学習したモデルを実際の古典籍画像に適用したところ、定量的な評価には至らなかったが、概ね良好な結果を得ることができた。その研究成果[1]をパターン認識に関する国際会議ICPRAM2024で発表した。参考文献 [1] Sayaka Mori, Tetsuya Suzuki: Experimental Application of Semantic Segmentation Models Fine-Tuned with Synthesized Document Images to Text Line Segmentation in a Handwritten Japanese Historical Document. ICPRAM 2024: 826-832.
Current Status of Research Progress	Current Status of Research Progress 4: Progress in research has been delayed. Reason 初年度（２０２２年度）に研究代表者の家庭の事情により研究に費やす時間を十分に確保できなかった。
Strategy for Future Research Activity	２０２３年度に提案したセマンティックセグメンテーションによる行抽出法の改善と抽出行の読み順決定法の開発と行う予定である。