| 研究実績の概要 |
前年度までに構築したレシピフローグラフコーパス("Flow Graph Corpus from Recipe Texts," Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada, LREC, pp.2370-2377, 2014.)と収録した調理映像("KUSK Dataset: Toward a Direct Understanding of Recipe Text and Human Cooking Activity Information," Atsushi Hashimoto, Tetsuro Sasada, Yoko Yamakata, Shinsuke Mori, Michihiko Minoh, CEA, 2014.)を用いて調理映像からのレシピ生成の手法を提案し、実験結果とともに国際学会にて発表した("Procedural Text Generation from an Execution Video," Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, Shinsuke Mori, IJCNLP, 2017.)。手法は十分一般的であり、調理映像とレシピに限定されない。これにより、本研究課題「作業実施映像からの手順書の生成」が国際学会採択論文とともに完了したといえる。
現在、論文誌への投稿を準備している。また、調理映像・レシピ以外の分野の実験として、スポーツ自転車の組み立てを対象に手順書の収集と映像の収録を行った。その分析の結果、同様の手法が機能するという見通しを得た。課題終了後も、写真付きの手順書などのような、マルチメディア教材の自動生成などの発展的研究に取り組んでいる。
|
