• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

手順文書からの知識獲得

研究課題

研究課題/領域番号 20H04210
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関京都大学

研究代表者

森 信介  京都大学, 学術情報メディアセンター, 教授 (90456773)

研究分担者 難波 英嗣  中央大学, 理工学部, 教授 (50345378)
亀甲 博貴  京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子  東京大学, 情報基盤センター, 教授 (60423018)
研究期間 (年度) 2020-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
17,680千円 (直接経費: 13,600千円、間接経費: 4,080千円)
2023年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2022年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2021年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2020年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
キーワード言語処理 / 画像認識 / 手順書 / 実施動画 / 生化学実験 / 実験室DX / 動作結果予測 / 作業支援 / 固有表現認識 / フローグラフ / マルチモダリティー / 上位下位関係 / 部分全体関係 / 部分全体関 / 単語分割 / 動作 / 自然言語処理 / 自然言語理解 / 知識
研究開始時の研究の概要

本研究では、対象を手順文書に限定し、(1) どの程度の量と質の知識が言語理解に有効か、(2) 有効であるといえる知識をどのように獲得するかという問いに取り組む。獲得対象とする知識は、1. 上位下位関係、2. 部分全体関、3. 動作とその結果、4. 動作に必要な暗黙の道具である。自動獲得の正確性を人手で記述した知識との比較により評価するとともに、知識の量的十分性を以下の応用における有用性として調査する(外因評価)。

研究成果の概要

自然言語理解の課題に対して知識の重要性が指摘されている。
本研究では、対象を手順文書に限定し、(1) どの程度の量と質の知識が言語理解に有効か、(2) 有効であるといえる知識をどのように獲得するかという問いに取り組んだ。研究期間後半では、予定外ではあるが、知識表現として作業後の視覚的な状態を記述し、それを予測する課題を提案するとともに、解決方法の提案した。さらに、対象を Wet Lab. に拡張する取り組みを行い、知識の有用性を示すアプリケーションを構築し紹介した。

研究成果の学術的意義や社会的意義

本課題を含む一連の研究をいわゆる Wet Lab. に応用する端緒となった。本課題提案前から、レシピと調理動画はデータの取得やアノテーションが容易であることを理由に対象としていたが、研究の有用性としては Wet Lab. への応用を目指していた。本課題及びそれ以前の研究により、Wet Lab. に協力をお願いできる成果を得ていたので、大阪医科薬科大学にてその研究発表を行い、データ取得協力の合意を得たことによる。そのデータにこれまでに得た知見を用いて有用なアノテーションを行い、データセットとして公開するとともに、論文誌上で発表した。その先駆性が評価され、言語処理学会の論文賞を受賞した。

報告書

(5件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (32件)

すべて 2024 2023 2022 2021 2020 その他

すべて 国際共同研究 (1件) 雑誌論文 (9件) (うち査読あり 7件、 オープンアクセス 3件) 学会発表 (19件) (うち国際学会 6件、 招待講演 2件) 備考 (3件)

  • [国際共同研究] University of Sussex(英国)

    • 関連する報告書
      2020 実績報告書
  • [雑誌論文] Recipe Generation from Unsegmented Cooking Videos2024

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      ACM Transactions on Multimedia Computing, Communications, and Applications

      巻: 0 ページ: 0-0

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] State-aware Video Procedural Captioning2023

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      Multimedia Tools and Applications

      巻: 0 ページ: 0-0

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] State-aware Video Procedural Captioning2021

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      ACM Multimedia

      巻: 0 ページ: 0-0

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Egocentric Biochemical Video-and-Language Dataset2021

    • 著者名/発表者名
      Taichi Nishimura, Kojiro Sakoda, Atsushi Hashimoto, Yoshitaka Ushiku, Natsuko Tanaka, Fumihito Ono, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      CLVL (ICCV workshop)

      巻: 0 ページ: 0-0

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] MIRecipe: A Recipe Dataset for Stage-Aware Recognition of Changes in Appearance of Ingredients2021

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, and Keishi Tajima
    • 雑誌名

      ACM Multimedia Asia 2021

      巻: 16 ページ: 1-7

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] RecipeLog: Recipe Authoring App for Accurate Food Recording2021

    • 著者名/発表者名
      Akihisa Ishino, Yoko Yamakata, Hiroaki Karasawa and Kiyoharu Aizawa
    • 雑誌名

      ACM Multimedia 2021

      巻: Technical Demo ページ: 2798-2800

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] 重要語に着目した写真列からのレシピの自動生成2020

    • 著者名/発表者名
      西村 太一, 橋本 敦史, 森 信介
    • 雑誌名

      自然言語処理

      巻: 27 ページ: 275-279

    • NAID

      130007904612

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Visual Grounding Annotation of Recipe Flow Graph2020

    • 著者名/発表者名
      Taichi Nishimura, Suzushi Tomori, Hayato Hashimoto, Atsushi Hashimoto, Yoko Yamakata,Jun Harashima, Yoshitaka Ushiku, Shinsuke Mori
    • 雑誌名

      Proc. of LREC2020

      巻: 0 ページ: 0-0

    • 関連する報告書
      2020 実績報告書
  • [雑誌論文] English Recipe Flow Graph Corpus2020

    • 著者名/発表者名
      Yoko Yamakata, Shinsuke Mori, John Carroll
    • 雑誌名

      Proc. of LREC2020

      巻: 0 ページ: 0-0

    • 関連する報告書
      2020 実績報告書
  • [学会発表] Towards Flow Graph Prediction of Open-Domain Procedural Texts2023

    • 著者名/発表者名
      Keisuke Shirai, Hirotaka Kameko, Shinsuke Mori
    • 学会等名
      CL, The 8th Workshop on Representation Learning for NLP
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Open-Vocabulary Segmentation Approach for Transformer-Based Food Nutrient Estimation2023

    • 著者名/発表者名
      Satayu Parinayok, Yoko Yamakata, and Kiyoharu Aizawa
    • 学会等名
      ACM International Conference on Multimedia in Asia
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Automatic Dataset Creation from User-generated Recipes for Ingredient-centric Food Image Analysis2023

    • 著者名/発表者名
      Liangyu Wang, Yoko Yamakata, and Kiyoharu Aizawa
    • 学会等名
      ACM International Conference on Multimedia in Asia
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Automatic Generation of Explanatory Text from Flowchart Images in Patents2023

    • 著者名/発表者名
      Nanba, H., Kubo, S., and Fukuda, S
    • 学会等名
      Workshop on Patent Text Mining and Semantic Technologies
    • 関連する報告書
      2023 実績報告書
  • [学会発表] オープンドメインの手順書のフローグラフ予測とデータセットの構築2023

    • 著者名/発表者名
      白井 圭佑, 亀甲 博貴, 森 信介
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 特許中のフローチャート画像からの説明文の自動生成2023

    • 著者名/発表者名
      難波英嗣,久保翔平, 福田悟志
    • 学会等名
      情報処理学会 第150回 情報基礎とアクセス技術研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Recipe Generation from Unsegmented Cooking Videos2022

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 学会等名
      arXiv
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Recipe-oriented Food Logging for Nutritional Management2022

    • 著者名/発表者名
      Yoko Yamakata, Akihisa Ishino, Akiko Sunto, Sosuke Amano, Kiyoharu Aizawa
    • 学会等名
      ACM Multimedia
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Food Computing for Human and Planet Health2022

    • 著者名/発表者名
      Yoko Yamakata
    • 学会等名
      INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] ユーザ生成型レシピからの栄養価および環境影響の自動計算のための食材名分類モデルの構築2022

    • 著者名/発表者名
      山肩洋子, 王良羽, 山末英嗣, 駿藤晶子, 相澤清晴
    • 学会等名
      電子情報通信学会 技術研究報告
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 一人称視点の食事映像からの食行動レポートの自動生成2022

    • 著者名/発表者名
      佐藤賢志郎, 山肩洋子, 相澤清晴
    • 学会等名
      電子情報通信学会 技術研究報告
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 自然言語処理技術を利用した特許文献の分析2022

    • 著者名/発表者名
      難波英嗣
    • 学会等名
      技術情報協会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] RecipeLog: 手順構造を持ったマルチメディアレシピのための入力インタフェース2022

    • 著者名/発表者名
      石野耀久、山肩洋子、唐澤弘明、天野宗佑、相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会 映情学技報
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 食行動の自動認識に向けた食事中の一人称視点映像データセットの構築2022

    • 著者名/発表者名
      佐藤賢志郎、天野宗佑、山肩洋子、相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会 映情学技報
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 特許中の画像とテキストを用いた手順オントロジーの構築2022

    • 著者名/発表者名
      樊 エイブン, 福田 悟志, 難波 英嗣,
    • 学会等名
      情報処理学会第145回情報基礎とアクセス技術研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 映像からのストーリー生成: イベント選択器と文生成器の同時学習2022

    • 著者名/発表者名
      西村 太一, 橋本 敦史, 牛久 祥孝, 森 信介
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] レシピ分野における動作対象の状態変化を考慮したデータセットの構築と検索モデルの提案2022

    • 著者名/発表者名
      白井圭佑, 橋本敦史, 牛久祥孝, 栗田修平, 亀甲博貴, 森信介
    • 学会等名
      言語処理学会第28回年次大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] レシピフローグラフへのVisual Groundingアノテーション2020

    • 著者名/発表者名
      西村 太一, 友利 涼, 橋本 隼人, 橋本 敦史, 山肩 洋子, 原島 純, 牛久 祥孝, 森 信介
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 写真列と構造要素からの手順構造と手順書の同時学習2020

    • 著者名/発表者名
      西村 太一, 橋本 敦史, 牛久 祥孝, 森 信介
    • 学会等名
      言語処理学会第26回年次大会
    • 関連する報告書
      2020 実績報告書
  • [備考] 大規模テキストアーカイブ研究分野

    • URL

      http://www.lsta.media.kyoto-u.ac.jp/

    • 関連する報告書
      2021 実績報告書
  • [備考] フローグラフコーパス (FG corpus)

    • URL

      http://www.lsta.media.kyoto-u.ac.jp/resource/data/recipe/

    • 関連する報告書
      2021 実績報告書
  • [備考] John A. Carroll Publications

    • URL

      http://users.sussex.ac.uk/~johnca/publications.html

    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi