• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

作業実施映像からの手順文書の自動生成

研究課題

研究課題/領域番号 26280084
研究種目

基盤研究(B)

配分区分一部基金
応募区分一般
研究分野 知能情報学
研究機関京都大学

研究代表者

森 信介  京都大学, 学術情報メディアセンター, 教授 (90456773)

研究分担者 飯山 将晃  京都大学, 学術情報メディアセンター, 准教授 (70362415)
橋本 敦史  京都大学, 教育学研究科, 助教 (80641753)
舩冨 卓哉  奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (20452310)
研究期間 (年度) 2014-04-01 – 2018-03-31
研究課題ステータス 完了 (2017年度)
配分額 *注記
15,990千円 (直接経費: 12,300千円、間接経費: 3,690千円)
2017年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2016年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2015年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2014年度: 5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円)
キーワード自然言語生成 / レシピ / 調理映像 / ニューラルネット / 自然言語処理 / 映像処理 / 手順書 / 実施映像 / メディア情報処理 / 画像処理 / 深層学習 / 情報検索 / 文生成 / 人工知能 / 手順文書 / フローグラフ
研究成果の概要

前年度までに構築したレシピフローグラフコーパスと収録した調理映像を用いて調理映像からのレシピ生成の手法を提案し、実験結果とともに国際学会にて発表した。手法は十分一般的であり、調理映像とレシピに限定されない。これにより、本研究課題「作業実施映像からの手順書の生成」が国際学会採択論文とともに完了したといえる。
課題終了後も、写真付きの手順書などのような、マルチメディア教材の自動生成などの発展的研究に取り組んでいる。

報告書

(5件)
  • 2017 実績報告書   研究成果報告書 ( PDF )
  • 2016 実績報告書
  • 2015 実績報告書
  • 2014 実績報告書
  • 研究成果

    (39件)

すべて 2018 2017 2016 2015 2014 その他

すべて 雑誌論文 (7件) (うち国際共著 1件、 査読あり 7件、 オープンアクセス 7件、 謝辞記載あり 7件) 学会発表 (21件) (うち国際学会 9件、 招待講演 1件) 備考 (11件)

  • [雑誌論文] 手順文書からの意味構造抽出2017

    • 著者名/発表者名
      前田 浩邦, 山肩 洋子, 森 信介
    • 雑誌名

      人工知能学会論文誌

      巻: 32 ページ: 1-8

    • NAID

      130005286766

    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] Cooking Recipe Search by Pairs of Ingredient and Action - Word Sequence v.s. Flow-graph Representation -2017

    • 著者名/発表者名
      Yoko Yamakata, Hirokuni Maeta, Takuya Kadowaki, Tetsuro Sasada, Shinji Imahori, Shinsuke Mori
    • 雑誌名

      Transactions of the Japanese Society for Artificial Intelligenc

      巻: 32 ページ: 1-9

    • NAID

      130005439848

    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] A Comparative Study of Dictionaries and Corpora as Methods for Language Resource Addition2016

    • 著者名/発表者名
      Shinsuke Mori, Neubig Graham
    • 雑誌名

      LRE

      巻: 50 ページ: 245-261

    • 関連する報告書
      2016 実績報告書
    • 査読あり / オープンアクセス / 国際共著 / 謝辞記載あり
  • [雑誌論文] フローグラフからの手順書の生成2016

    • 著者名/発表者名
      山崎 健史, 吉野 幸一郎, 前田 浩邦, 笹田 鉄郎, 橋本 敦史, 舩冨 卓哉, 山肩 洋子, 森 信介
    • 雑誌名

      情報処理学会論文誌

      巻: 57 ページ: 849-862

    • NAID

      170000130900

    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] ワークフロー表現を用いたレシピの典型性評価と典型的なレシピの生成2016

    • 著者名/発表者名
      山肩 洋子, 笹田 鉄郎, 森 信介
    • 雑誌名

      電子通信学会論文誌

      巻: J99-D ページ: 378-391

    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] レシピ用語の定義とその自動認識のためのタグ付与コーパスの構築2015

    • 著者名/発表者名
      笹田 鉄郎, 森 信介, 山肩 洋子, 前田 浩邦, 河原 達也
    • 雑誌名

      自然言語処理

      巻: 22 ページ: 107-131

    • NAID

      130005099405

    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] 誕生・使用事由によるレシピ検索~生い立ちレシピサーチ~2014

    • 著者名/発表者名
      門脇 拓也, 山肩 洋子, 森 信介, 田中 克己
    • 雑誌名

      日本データベース学会和文論文誌

      巻: 13-J ページ: 78-85

    • NAID

      40020275536

    • 関連する報告書
      2014 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [学会発表] 日本語の単語分割と品詞推定 あるいはKyTeaの話2018

    • 著者名/発表者名
      森 信介
    • 学会等名
      言語処理学会年次大会ワークショップ
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 調理動画からのレシピの自動生成2017

    • 著者名/発表者名
      牛 久敦, 橋本 敦史, 森 信介
    • 学会等名
      言語処理学会第23回年次大会
    • 発表場所
      筑波大学 (つくば市)
    • 年月日
      2017-03-14
    • 関連する報告書
      2016 実績報告書
  • [学会発表] A Comparison of Cooking Recipe Named Entities between Japanese and English2017

    • 著者名/発表者名
      Yoko Yamakata, John Carroll, Shinsuke Mori
    • 学会等名
      CEA
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] 教師なし学習による分野特有の固有表現認識2017

    • 著者名/発表者名
      友利 涼, 森 信介
    • 学会等名
      NLP若手の会 第12回シンポジウム
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Procedural Text Generation from an Execution Video2017

    • 著者名/発表者名
      Atsushi Ushiku, Hayato Hashimoto, Atsushi Hashimoto, Shinsuke Mori
    • 学会等名
      IJCNLP
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] 分野特有の教師なし固有表現認識2017

    • 著者名/発表者名
      友利 涼, 森 信介
    • 学会等名
      情報処理学会自然言語処理研究会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] Domain Specific Named Entity Recognition Referring to the Real World by Deep Neural Networks2016

    • 著者名/発表者名
      Suzushi Tomori, Takashi Ninomiya, Shinsuke Mori
    • 学会等名
      ACL
    • 発表場所
      Germany (Berlin)
    • 年月日
      2016-08-07
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Design in Everyday Cooking: Challenges for Assisting with Menu Planning and Food Preparation2016

    • 著者名/発表者名
      Atsushi Hashimoto, Jun Harashima, Yoko Yamakata, Shinsuke Mori
    • 学会等名
      HCII
    • 発表場所
      Canada (Toronto)
    • 年月日
      2016-07-17
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] 自然言語処理によるテキスト理解に向けて2016

    • 著者名/発表者名
      森 信介
    • 学会等名
      産業技術総合研究所
    • 発表場所
      大阪
    • 年月日
      2016-02-23
    • 関連する報告書
      2015 実績報告書
    • 招待講演
  • [学会発表] A Method for Extracting Major Workflow composed of Ingredients, Tools, and Actions from Cooking Procedural Text2016

    • 著者名/発表者名
      Yoko Yamakata, Shinji Imahori, Hirokuni Maeta, Shinsuke Mori
    • 学会等名
      CEA
    • 発表場所
      USA (Seattle)
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] Kusk Object Dataset: Recording Access to Objects in Food Preparation2016

    • 著者名/発表者名
      Atsushi Hashimoto, Masaaki Iiyama, Shinsuke Mori, Michihiko Minoh
    • 学会等名
      CEA
    • 発表場所
      USA (Seattle)
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] 料理レシピデータセットを用いた料理用語辞書の自動構築-フローグラフから得られる加工履歴に基づく食材名の分布類似度計算に関する検討-2016

    • 著者名/発表者名
      山肩 洋子, 難波 英嗣, 大須賀 智子, 原島 純, 但馬 康宏, 森 信介, 大山 敬三
    • 学会等名
      電子情報通信学会 食メディア研究会
    • 発表場所
      国立情報学研究所 (東京)
    • 関連する報告書
      2016 実績報告書
  • [学会発表] KUSK Object Dataset: 調理作業中の物体への接触履歴データセットの作成2015

    • 著者名/発表者名
      橋本 敦史, 飯山 将晃, 森 信介, 美濃 導彦
    • 学会等名
      電子情報通信学会 データ工学研究会
    • 発表場所
      東京
    • 年月日
      2015-09-25
    • 関連する報告書
      2015 実績報告書
  • [学会発表] A Framework for Procedural Text Understanding2015

    • 著者名/発表者名
      Hirokuni Maeta, Tetsuro Sasada, Shinsuke Mori
    • 学会等名
      IWPT
    • 発表場所
      ビルバオ
    • 年月日
      2015-07-22
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] Clustering Scenes in Cooking Video Guided by Object Access2015

    • 著者名/発表者名
      Yuki Matsumura, Atsushi Hashimoto, Shinsuke Mori, Masayuki Mukunoki, Michihiko Minoh
    • 学会等名
      CEA
    • 発表場所
      トリノ
    • 年月日
      2015-07-03
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] Named Entity Recognizer Trainable from Partially Annotated Data2015

    • 著者名/発表者名
      Tetsuro Sasada, Shinsuke Mori, Tatsuya Kawahara and Yoko Yamakata
    • 学会等名
      PACLING
    • 発表場所
      バリ
    • 年月日
      2015-05-19
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] フローグラフからのレシピ文自動生成2014

    • 著者名/発表者名
      山崎 健史, 森 信介, 河原 達也
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      東工大(神奈川・横浜)
    • 年月日
      2014-12-17
    • 関連する報告書
      2014 実績報告書
  • [学会発表] A Framework for Recipe Text Interpretation2014

    • 著者名/発表者名
      Hirokuni Maeta, Tetsuro Sasada, Shinsuke Mori
    • 学会等名
      Cooking and Eating Activity
    • 発表場所
      シアトル(USA)
    • 年月日
      2014-09-14
    • 関連する報告書
      2014 実績報告書
  • [学会発表] KUSK Dataset: Toward a Direct Understanding of Recipe Text and Human Cooking Activity Information2014

    • 著者名/発表者名
      Atsushi Hashimoto, Tetsuro Sasada, Yoko Yamakata, Shinsuke Mori, Michihiko Minoh
    • 学会等名
      Cooking and Eating Activity
    • 発表場所
      シアトル(USA)
    • 年月日
      2014-09-14
    • 関連する報告書
      2014 実績報告書
  • [学会発表] FlowGraph2Text: Automatic Sentence Skeleton Compilation for Procedural Text Generation2014

    • 著者名/発表者名
      Shinsuke Mori, Hirokuni Maeta, Tetsuro Sasada, Koichiro Yoshino, Atsushi Hashimoto, Takuya Funatomi, Yoko Yamakata
    • 学会等名
      International Conference of Natural Language Generation
    • 発表場所
      フィラデルフィア(USA)
    • 年月日
      2014-06-19
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Flow Graph Corpus from Recipe Texts2014

    • 著者名/発表者名
      Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada
    • 学会等名
      Language Resource and Evaluation Conference
    • 発表場所
      レイキャビク(Iceland)
    • 年月日
      2014-05-29
    • 関連する報告書
      2014 実績報告書
  • [備考] 研究室業績リスト

    • URL

      http://www.ar.media.kyoto-u.ac.jp/mori/research/public/main.html

    • 関連する報告書
      2017 実績報告書
  • [備考] フローグラフコーパス (FG corpus)

    • URL

      http://www.ar.media.kyoto-u.ac.jp/data/recipe/

    • 関連する報告書
      2017 実績報告書
  • [備考] KUSK Dataset

    • URL

      http://kusk.mm.media.kyoto-u.ac.jp/ja/

    • 関連する報告書
      2017 実績報告書
  • [備考] レシピ言語処理マニュアル

    • URL

      http://www.ar.media.kyoto-u.ac.jp/how-to/recipe-NLP/

    • 関連する報告書
      2017 実績報告書
  • [備考] フローグラフコーパス (FG corpus)

    • 関連する報告書
      2016 実績報告書
  • [備考] レシピ言語処理マニュアル

    • 関連する報告書
      2016 実績報告書
  • [備考] フローグラフコーパス (FG corpus)

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/data/recipe/

    • 関連する報告書
      2015 実績報告書
  • [備考] KUSK DATASET

    • URL

      http://kusk.mm.media.kyoto-u.ac.jp/ja/

    • 関連する報告書
      2015 実績報告書
  • [備考] 固有表現認識器 PWNER

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/tool/PWNER/

    • 関連する報告書
      2015 実績報告書
  • [備考] レシピ言語処理マニュアル

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/kadowaki/

    • 関連する報告書
      2014 実績報告書
  • [備考] レシピ フロー グラフ コーパス (r-FG corpus)

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html

    • 関連する報告書
      2014 実績報告書

URL: 

公開日: 2014-04-04   更新日: 2019-03-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi