Procedural Text Generation from Instructional Videos

2023 Fiscal Year Annual Research Report

• Project/Area Number: 22KJ1666
• Allocation Type: Multi-year Fund
• Research Institution: Kyoto University
• Principal Investigator: 西村 太一 京都大学, 情報学研究科, 特別研究員(DC1)
• Project Period (FY): 2023-03-08 – 2024-03-31
• Keywords: 作業映像 / 手順書 / 実験動画

Outline of Annual Research Achievements

最終年度の半年間は、一人称視点の化学実験映像の解析を進めた。前年度の検証の結果、物体の見た目にほとんど差がないため、物体を識別することができないことが問題であるとわかった。これを解決するため、QRコードを物体に貼り付けて撮影した新たなデータセットを構築した。このデータセットをもとに、前年度開発したプロトコル生成手法を検証し、結果を評価し、これらの結果をまとめて論文にし、国際学会に投稿した。