2017 Fiscal Year Annual Research Report
Procedural text generation from execution video
| Project/Area Number |
26280084
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
飯山 将晃 京都大学, 学術情報メディアセンター, 准教授 (70362415)
橋本 敦史 京都大学, 教育学研究科, 助教 (80641753)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 自然言語処理 / 映像処理 / レシピ / 手順書 / 実施映像 |
|---|
| Outline of Annual Research Achievements |
前年度までに構築したレシピフローグラフコーパス("Flow Graph Corpus from Recipe Texts," Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada, LREC, pp.2370-2377, 2014.)と収録した調理映像("KUSK Dataset: Toward a Direct Understanding of Recipe Text and Human Cooking Activity Information," Atsushi Hashimoto, Tetsuro Sasada, Yoko Yamakata, Shinsuke Mori, Michihiko Minoh, CEA, 2014.)を用いて調理映像からのレシピ生成の手法を提案し、実験結果とともに国際学会にて発表した("Procedural Text Generation from an Execution Video," Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, Shinsuke Mori, IJCNLP, 2017.)。手法は十分一般的であり、調理映像とレシピに限定されない。これにより、本研究課題「作業実施映像からの手順書の生成」が国際学会採択論文とともに完了したといえる。
現在、論文誌への投稿を準備している。また、調理映像・レシピ以外の分野の実験として、スポーツ自転車の組み立てを対象に手順書の収集と映像の収録を行った。その分析の結果、同様の手法が機能するという見通しを得た。課題終了後も、写真付きの手順書などのような、マルチメディア教材の自動生成などの発展的研究に取り組んでいる。
|
| Research Progress Status |
29年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
29年度が最終年度であるため、記入しない。
|
| Causes of Carryover |
29年度が最終年度であるため、記入しない。
|
| Expenditure Plan for Carryover Budget |
29年度が最終年度であるため、記入しない。
|
