2021 Fiscal Year Research-status Report
Extraction of page datasets from 3-D CT data of booklets from Laplace equation
| Project/Area Number |
20K20632
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
小山田 耕二 京都大学, 学術情報メディアセンター, 教授 (00305294)
|
|---|
| Project Period (FY) |
2020-07-30 – 2023-03-31
|
| Keywords | 視覚的分析 / ラプラス方程式 / 可視化 |
|---|
| Outline of Annual Research Achievements |
ここ数年、もろくなっており、開くことができない古文献の解読に関して、CTスキャン装置を使った研究事例が発表されている。デジタル化された文献の分析手法については、手つかずであり、我々は、文献を冊子体と仮定した分析手法の研究開発を推進している。
近年では、文献より断片的に文字情報を抽出する技術報告があった。これらの方法では、文献に書かれていた文字情報を抽出できたとされるが、単語や文については、抽出できておらず、ページ領域を正確に抽出できていなかったことが原因であった。
この問題を解決するために、本研究では、ラプラス方程式を使って、三次元CT装置を使って取得された冊子体三次元画像からページデータを効果的に抽出する手法を開発し、その有用性を確認する。学術的問いは、「どのようにすれば、冊子体から生成された三次元画像から正しくページ情報を抽出することができるか？」である。この問いに対する仮説は、「冊子体の各ページ面を等値面とするようなスカラ場を適切に生成することができれば、三次元画像から正しくページ情報を抽出することができる」ことを試行するためのシステム環境を構築し、その有用性を検証したところ、元の冊子体に比べて、おおむね、ページ面は、正確に抽出されていたものの、領域によっては、ページ面のずれが目立つ場合が散見された。
今年度は、この問題を解決するために深層学習を用いたスカラ場の生成を行った。具体的には、3次元画像上で指示した三次元座標値とページ番号の注釈を付与した点群を学習データとして完全接続型のニューラルネットワークを構築し、そのパラメータを計算した。このパラメータで表現されたスカラ場を使って生成したページ面とラプラス方程式を使って生成したページ面を比較したところ、前者の精度が上回る場合を確認することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
ページ面を表現するスカラ場について、研究計画当初では、これをラプラス方程式で計算することにしていたが、ページ面が複雑な形状をしている場合には、その限界が確認された。この問題を解決するために、普遍的近似定理により、完全接続型ニューラルネットワークが任意の連続関数を与えられた精度で表現できることに着目した。ラプラス方程式とニューラルネットワーク、両方を使った比較実験で、その有効性が確認されたため、区分(1)とした。
|
| Strategy for Future Research Activity |
今後は、深層学習とラプラス方程式の両方を使って、精度の高いスカラ場の生成を目指す。具体的には、深層学習における損失関数に対してラプラス方程式の残差を適切な割合で加算して、精度の高いスカラ場を生成する。このスカラ場を前提として、本研究計画に立てた仮説の帰結「三次元画像から正しくページ情報を抽出することができる」に対応した研究計画を以下に述べる。スカラ場が十分適切に生成されていない場合、等値面にマッピングされた画像は、ページ情報を適切に表していない場合が想定される。具体的には、等値面がページ面と異なっているために次のページの情報がマッピングされているような場合である。これは、目視により判断することができるので、正しくページ面がマッピングされた等値面、そうでない等値面を画像データとして複数用意し、目視でタグ付けを行う。このタグ付き画像に対して、CNN（Convolutional Neural Network）を使って、教師付き学習を行い、画像分類器を構築する。まず、この画像分類器を使い、冊子体の1ページ分が適切にマッピングされているかどうか（MA : Mapping Appropriateness）を判定する。
|
| Causes of Carryover |
コロナ禍の状況で研究発表の機会が著しく減少したため。次年度使用額は、研究成果発表のために多くの研究集会で発表を行うための旅費や深層学習を取り入れるためのシステム開発のための費用に充てる予定である。
|
