技術文書中の画像と説明文の対応付けによる知識体系の構築
| Project/Area Number |
22K12154
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
難波 英嗣 中央大学, 理工学部, 教授 (50345378)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 特許 / フローチャート / 説明文生成 / 上位下位関係 / T5 / 論文 / 画像認識 / 自然言語処理 / 知識体系 |
|---|
| Outline of Research at the Start |
特許や論文などの技術文書中の図表は、特許の内容を理解する上で非常に重要な役割を果たしている。本研究では、特許中の図表と自然言語によるその説明文を利用した特定分野の知識体系を構築する手法を提案する。特許要約には、その特許の内容を簡潔に表した自然言語による説明文と代表図面から構成されている。そこで、まず、自然言語処理技術と画像認識技術を用いて、説明文と代表図面の構造をそれぞれ解析し、構造を対応付ける。次に、内容の近い特許を収集し、それらの共通項を見つけることで、その分野固有の手順や装置の構成に関する知識を得る。
|
| Outline of Annual Research Achievements |
幅広い分野の一連の手続きに関する知識をテキストから自動抽出し、それらを体系化することを目指している。2022年度は、(1)特許中の図表の自動分類、(2)自然言語文の構造解析、(3)多言語(日英中)上位下位関係の抽出に取り組んだ。
(1)について、特許中に記載される図表画像の中からフローチャートを自動抽出することで、フローチャート画像とその説明文の11,188対から構成されるコーパスを構築した。このコーパスの有効性を確認するため、フローチャート画像からの説明文の自動生成を行った。説明文の生成では、フローチャート画像からGoogle Cloud Vision APIを用いて文字列を抽出し、この文字列から説明文を自動生成するために、Text-To-Text Transfer Transformer(T5)を用いて学習した。実験の結果、複雑な形状のフローチャートについては課題が残るものの、質の高い説明文が生成できることが確認できた。
(2)について、米国特許を対象に、特許請求項から主要部、構成要素、手順に関する文字列を抽出する手法について検討した。抽出には、T5、Bi-LSTM-CRF、CRFを用いた。実験の結果、T5が最も優れており、特に再現率を大幅に改善できることがわかった。
(3)について、リンク予測モデルによる日英中上位下位関係の自動抽出を行った。まず、GANを用いて上位下位関係にある用語を識別する。次に、前の手順で構築された上位下位関係のグラフに対し、ConvEとGraphSAGEを組み合わせたリンク予測を行い、本来であれば上位下位関係にあるべき欠落したエッジを予測する。提案手法の有効性を確認するために行った実験では、GANを用いた上位下位関係の識別およびConvEとGraphSAGEを組み合わせたリンク予測の両方において、提案手法が従来手法よりも優れていることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
２０２２年度は、(i)特許中の図表の種別の判定および自然言語文の要約の構造解析および(ii)図表と構造解析された特許要約との対応付けが当初の目標であった。これらについては、研究実績の概要欄でも述べたとおり、実現できたと言えるレベルに到達した。これに加え、2023年度に実施を予定していた(iii)特許分類を用いた知識体系の構築について、日英中の上位下位関係の抽出を２０２２年度に行っていることから、当初の計画以上に進展していると判断できる。
|
| Strategy for Future Research Activity |
２０２３年度は、２０２２年度に着手した(iii)特許分類を用いた知識体系の構築について、さらなる改善を目指す。さらに、２０２２年度に構築したフローチャート画像とその説明文の11,188対から構成されるコーパスと、請求項の構造解析システムを用い、知識体系の構築を目指す。
|
Report
(1 results)
Research Products
(3 results)
