Knowledge Acquisition from Procedural Texts

2023 Fiscal Year Final Research Report

• Project/Area Number: 20H04210
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Kyoto University
• Principal Investigator: MORI Shinsuke 京都大学, 学術情報メディアセンター, 教授 (90456773)
• Co-Investigator(Kenkyū-buntansha): 難波 英嗣 中央大学, 理工学部, 教授 (50345378) ; 亀甲 博貴 京都大学, 学術情報メディアセンター, 助教 (50827524) ; 山肩 洋子 東京大学, 情報基盤センター, 教授 (60423018)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 言語処理 / 画像認識 / 手順書 / 実施動画 / 生化学実験 / 実験室DX / 動作結果予測 / 作業支援

Outline of Final Research Achievements

Here is the abstract of the most fruitful result of this project. In this study, we propose an egocentric biochemical video-and-language dataset called BioVL2 comprising eight videos for each of four experiments, with a total duration of 2.5 hours for all 32 samples. Each video corresponds to a protocol and two types of linguistic annotations are provided: (1) video-and-text alignment and (2) bounding boxes linked to objects in the protocol. As an application of the BioVL2 dataset, we consider the task of generating a protocol from an experimental video. Our experimental results show that the proposed system can generate better protocols than a weak baseline designed to output objects appearing in the video frames. The BioVL2 dataset will be released for research purposes only.

Free Research Field

自然言語処理

Academic Significance and Societal Importance of the Research Achievements

本課題を含む一連の研究をいわゆる Wet Lab. に応用する端緒となった。本課題提案前から、レシピと調理動画はデータの取得やアノテーションが容易であることを理由に対象としていたが、研究の有用性としては Wet Lab. への応用を目指していた。本課題及びそれ以前の研究により、Wet Lab. に協力をお願いできる成果を得ていたので、大阪医科薬科大学にてその研究発表を行い、データ取得協力の合意を得たことによる。そのデータにこれまでに得た知見を用いて有用なアノテーションを行い、データセットとして公開するとともに、論文誌上で発表した。その先駆性が評価され、言語処理学会の論文賞を受賞した。