2015 Fiscal Year Annual Research Report
| Project/Area Number |
26280084
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 准教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 敦史 京都大学, 教育学研究科, 助教 (80641753)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 調理映像 / 手順文書 / フローグラフ / 自然言語処理 / 映像処理 |
|---|
| Outline of Annual Research Achievements |
自動でフローグラフを構築する枠組みを構築した。この枠組みは、既存の単語分割に加えて、自動用語認識と用語間の関係を自動推定からなる。自動用語認識は、固有表現認識と同じ枠組みで解けるが、部分的アノテーションを用いることができるように改良し、この精度を大きく改善した。また、フローグラフを構築する手法については、係り受け解析の手法のひとつである最大全域木に基づく手法を応用し、辺の追加の仕組みを加えることで実現した。これを、前年度までに構築したレシピのフローグラフコーパスを用いて評価した。
また、フローグラフからレシピ文を生成する方法の改良を行い、精度向上を確認した。
さらに、フローグラフコーパスの一部のレシピについて、調理映像を収録し、映像を入力とするレシピ文の生成に取り組む準備を整えた。
以上の成果は以下のサイトで公開している。
レシピ言語処理マニュアル: http://plata.ar.media.kyoto-u.ac.jp/kadowaki/, レシピフローグラフコーパス (r-FG corpus): http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html, 調理映像 (KUSK dataset): http://kusk.mm.media.kyoto-u.ac.jp/ja/
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
言語処理側では、レシピフローグラフコーパスを構築し、レシピ用語の自動認識器を構築し、それを用いてフローグラフからのレシピ文生成のモジュールを構築した。これらをフリーソフトやフリーデータとして公開した。
映像処理側では、レシピフローグラフコーパスの一部に対して実際に調理を行い、映像を収録した。その映像に対して正解を付与するとともに、自動認識の予備的な実験を行った。映像は、フリーデータとして公開した。
言語処理と映像処理を統合する手法について検討し、最初の取り組みを策定した。
|
| Strategy for Future Research Activity |
言語処理側では、深層学習を用いたフローグラフからのレシピ文生成のモジュールを試みる。これにより映像処理側との統合が容易になる。
映像処理側では、収録した映像に対して認識実験を行い、その結果を言語処理側に渡して、文生成を行う。
本年度は、調理以外の手順書および実施映像についても取り組む。具体的には、自転車の組み立てを検討している。
|
| Causes of Carryover |
年度末のアノテーション外注が先方の都合により発注できなかったため。
|
| Expenditure Plan for Carryover Budget |
年度初めに発注の予定。
|
-
[Journal Article] フローグラフからの手順書の生成2016
Author(s)
山崎 健史, 吉野 幸一郎, 前田 浩邦, 笹田 鉄郎, 橋本 敦史, 舩冨 卓哉, 山肩 洋子, 森 信介
-
Journal Title
情報処理学会論文誌
Volume: 57
Pages: 849-862
Peer Reviewed / Open Access / Acknowledgement Compliant
-
-
-
-
-
-
-
-
-
-
