| 研究課題/領域番号 |
26280084
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
森 信介 京都大学, 学術情報メディアセンター, 准教授 (90456773)
|
|---|
| 研究分担者 |
橋本 敦史 京都大学, 教育学研究科, 助教 (80641753)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2018-03-31
|
| キーワード | 調理映像 / 手順文書 / フローグラフ / 自然言語処理 / 映像処理 |
|---|
| 研究実績の概要 |
自動でフローグラフを構築する枠組みを構築した。この枠組みは、既存の単語分割に加えて、自動用語認識と用語間の関係を自動推定からなる。自動用語認識は、固有表現認識と同じ枠組みで解けるが、部分的アノテーションを用いることができるように改良し、この精度を大きく改善した。また、フローグラフを構築する手法については、係り受け解析の手法のひとつである最大全域木に基づく手法を応用し、辺の追加の仕組みを加えることで実現した。これを、前年度までに構築したレシピのフローグラフコーパスを用いて評価した。
また、フローグラフからレシピ文を生成する方法の改良を行い、精度向上を確認した。
さらに、フローグラフコーパスの一部のレシピについて、調理映像を収録し、映像を入力とするレシピ文の生成に取り組む準備を整えた。
以上の成果は以下のサイトで公開している。
レシピ言語処理マニュアル: http://plata.ar.media.kyoto-u.ac.jp/kadowaki/, レシピフローグラフコーパス (r-FG corpus): http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html, 調理映像 (KUSK dataset): http://kusk.mm.media.kyoto-u.ac.jp/ja/
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
言語処理側では、レシピフローグラフコーパスを構築し、レシピ用語の自動認識器を構築し、それを用いてフローグラフからのレシピ文生成のモジュールを構築した。これらをフリーソフトやフリーデータとして公開した。
映像処理側では、レシピフローグラフコーパスの一部に対して実際に調理を行い、映像を収録した。その映像に対して正解を付与するとともに、自動認識の予備的な実験を行った。映像は、フリーデータとして公開した。
言語処理と映像処理を統合する手法について検討し、最初の取り組みを策定した。
|
| 今後の研究の推進方策 |
言語処理側では、深層学習を用いたフローグラフからのレシピ文生成のモジュールを試みる。これにより映像処理側との統合が容易になる。
映像処理側では、収録した映像に対して認識実験を行い、その結果を言語処理側に渡して、文生成を行う。
本年度は、調理以外の手順書および実施映像についても取り組む。具体的には、自転車の組み立てを検討している。
|
| 次年度使用額が生じた理由 |
年度末のアノテーション外注が先方の都合により発注できなかったため。
|
| 次年度使用額の使用計画 |
年度初めに発注の予定。
|
