2016 Fiscal Year Annual Research Report
Procedural text generation from execution video
| Project/Area Number |
26280084
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 敦史 京都大学, 教育学研究科(研究院), 助教 (80641753)
飯山 将晃 京都大学, 学術情報メディアセンター, 准教授 (70362415)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 自然言語処理 / 映像処理 / レシピ / 手順書 / 実施映像 |
|---|
| Outline of Annual Research Achievements |
調理を題材に作業映像から手順書を生成する手法を提案・実現し、さまざまな実験条件での結果を提示した。これらを論文にまとめ言語処理学会第23回年次大会にて発表した(調理動画からのレシピの自動生成, 牛 久敦, 橋本 敦史, 森 信介)。また、英語での論文執筆も行ない、人工知能研究のトップ会議であるIJCAI 2017に投稿中である。同様に、マルチメディアのトップ会議であるACM MM 2017に投稿予定である。
関連する発表としては、人工知能学会にフローグラフの推定を含む2編の論文を投稿し、採択された。
また、最終年度の準備として、ミシンでの作業や自転車の修理の映像を収録するとともに、これらの手順書のサンプルを入手し、調理を題材としている現在の手法が通用するか、どのような変更が必要かを予備的に検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
調理動画を対象とした手順書の生成については、研究発表に至った。
一方、最終年度に予定しいてる他の分野での一般性の確認はまだである。
したがって、予定通りである。
|
| Strategy for Future Research Activity |
昨年度末に、調理を題材に作業映像から手順書を生成する手法を提案・実現するとともに実験結果を提示した。今年度は、この手法をさらに改良するとともに、前提となる言語処理／映像処理の高度化をさまざまな手法で実現する。具体的には、レシピ固有表現の認識精度を向上させるために、固有表現認識器の辞書への対応や埋め込みベクトルの利用、さらにはアノテーションされたデータの増量に取り組む。また、映像処理においては、投稿型レシピサイトの写真を学習に用いるなど、特に動作の認識を直接行えるようにする。
さらに、調理以外の課題に対して取り組むことによる枠組みの一般化を目指す。本研究課題の重要なポイントとして、映像からの作業内容記述を一般の作業に対して実現することである。このため、複数の作業についてもフローグラフの定義を策定し、作業種別の間で比較・分析を行うことで、作業一般のテキストや映像に対するフローグラフの定義を提案する。具体的には、スポーツ自転車の組み立てや修理の映像を収集するとともに、調理と同様のフローグラフの基準を策定し、組み立てや修理の作業映像から手順書を生成する可能性を探る。
|
| Causes of Carryover |
論文の査読が遅れ、掲載費の支出が翌年度にずれ込んだため。
|
| Expenditure Plan for Carryover Budget |
執行可能になると速やかに支出する予定である。
|
Research Products
(11 results)
