2014 Fiscal Year Annual Research Report
| Project/Area Number |
26280084
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
森 信介 京都大学, 学術情報メディアセンター, 准教授 (90456773)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
舩冨 卓哉 奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (20452310)
橋本 敦史 京都大学, 法学研究科, 助手 (80641753)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 調理映像 / 手順文書 / フローグラフ / 自然言語処理 / 映像処理 |
|---|
| Outline of Annual Research Achievements |
レシピテキストにおける重要語の定義を策定し、CookPadのレシピテキスト約400に実際にアノテーションした。同時に単語境界情報も付与した。この結果、単語分割精度が97%超となり、用語認識精度は90%程度となった。特に重要な用語については95%程度となっている。さらに、手順の抽象表現としてのフローグラフの仕様を策定し、約200レシピについてフローグラフのアノテーションを実施した。
次に、新たなレシピテキストに対して自動でフローグラフを構築する枠組みについて考案した。この枠組みは、既存の単語分割に加えて、自動用語認識と用語間の関係を自動推定からなる。自動用語認識は、固有表現認識と同じ枠組みで解けるが、部分的アノテーションを用いることができるように改良し、この精度を大きく改善した。また、フローグラフを構築する手法については、係り受け解析の手法のひとつである最大全域木に基づく手法を応用し、辺の追加の仕組みを加えることで実現した。
上記の解析システムの精度を、作成したデータを用いて測定し、次年度以降の課題を確認した。また、フローグラフからレシピ文を生成する方法についても考案・実装し、実験とその評価を行った。その一部として、上述の用語認識が用いられている。
以上の成果は以下のサイトで公開している。
レシピ言語処理マニュアル: http://plata.ar.media.kyoto-u.ac.jp/kadowaki/
レシピ フロー グラフ コーパス (r-FG corpus): http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度までに、調理を対象とした場合の手順文書（レシピ）の自然言語処理の基本的なモジュールが完成した。具体的には、レシピの単語分割、品詞推定、用語認識である。これらに加えて、用語間の関係を自動的に判別しフローグラフにするモジュールも作成し、全体の精度と各コンポーネントの誤りの影響について調査した。これらに関する学会発表を行い、論文誌の採録も決定している。
映像についても、食材や道具を対象とした物体認識と調理動作の認識について取り組み、学会発表のための投稿原稿ができあがっている。
フローグラフからの文生成についても論文にまとめ、年度末には映像認識結果からの文生成について取り組みはじめ、手法の設計と一部実装を終えた。
|
| Strategy for Future Research Activity |
手順書から言語処理により得られるフローグラフと、手順書を実行した映像から画像処理により得られるフローグラフは 、大域的な形状が類似する。この性質を利用して、ノードやエッジの対応をとる。これを何らかの評価関数の最適化として定式化する。ここで問題となるのは、両フローグラフの粒度の違いである。言語表現では単に「人参を切る」と表現される行為に対応する映像は、複数の人参を何度も切っているということがある。
このような、粒度の違いを考慮した評価関数を考案し、両フローグラフを照合する。これを手順書の固有表現と映像の領域の対応と考えれば、物体名称や動作表現が自動獲得できたことになる。
|
| Causes of Carryover |
アノテーションの外注先が年度末で受注できなかったため。
|
| Expenditure Plan for Carryover Budget |
今年度初頭にこの分を実施する予定である。
|
Research Products
(8 results)
