• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

手順文書からの知識獲得

研究課題

研究課題/領域番号 20H04210
研究機関京都大学

研究代表者

森 信介  京都大学, 学術情報メディアセンター, 教授 (90456773)

研究分担者 難波 英嗣  中央大学, 理工学部, 教授 (50345378)
亀甲 博貴  京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子  東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード上位下位関係 / 部分全体関 / マルチモダリティー
研究実績の概要

機械による手順書の理解を目的として、 我々が提案したレシピフローグラフの一般化について考察した。食材を構成要素(部品など)とすることで、様々な手順書を記述できることを示し、wikiHow Flow Graph (wikiHow-FG) コーパスを構築した。
加えて、応用システムの構築も行った。従来のレシピは自由文入力で記述されているため、自然言語処理技術を用いてその手順構造を解析する手法を開発してきたが、構造化されたレシピの正解データが不足していることが精度向上の妨げとなっていた。そこで今年度は、ユーザーが構造化されたレシピを直接記述することのできるシステムを開発した。ユーザは予め用意した標準レシピの中から自分が作りたいものに最も近いレシピを選択し、差分のみを編集することにより少ない手間で自分のレシピを入力できる。このシステムを作り、構造化されたレシピのデータセットを構築することが次年度以降の課題である。
また、特許中のフローチャート画像からの説明文の自動生成に取り組んだ。説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5を用いた説明文生成器の構築、の3つの手順から構成される。11,188件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、質の高い説明文が生成できることが確認できた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ロボットの制御のための動画からのフレームの取り出しや、動作結果の画像の選択課題に注力したこともあって、言語内での関係の推定については後回しにした。言語内のみでの関係推定についてはその次の優先順位として取り組んでいるが、学会発表に至るまでの進捗にはならなかった。なお、ロボットの制御を目的とした研究は十分に進捗している。レシピ以外の分野への一般化は応用も含めて進展した。

今後の研究の推進方策

当初予定した、上位下位関係と部分全体関係をそれぞれのグラフ構造の制約下での探索する手法を実装し評価したい。暗黙の道具や動作の結果得られる物のベクトルについても、同様である。最終年度であるので、構築したデータやシステムを整理し、論文発表以外の方法でも学会に貢献する。

  • 研究成果

    (9件)

すべて 2023 2022

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (8件) (うち国際学会 3件、 招待講演 2件)

  • [雑誌論文] State-aware Video Procedural Captioning2023

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      Multimedia Tools and Applications

      巻: 0 ページ: 0-0

    • 査読あり / オープンアクセス
  • [学会発表] オープンドメインの手順書のフローグラフ予測とデータセットの構築2023

    • 著者名/発表者名
      白井 圭佑, 亀甲 博貴, 森 信介
    • 学会等名
      言語処理学会第29回年次大会
  • [学会発表] 特許中のフローチャート画像からの説明文の自動生成2023

    • 著者名/発表者名
      難波英嗣,久保翔平, 福田悟志
    • 学会等名
      情報処理学会 第150回 情報基礎とアクセス技術研究発表会
  • [学会発表] Recipe Generation from Unsegmented Cooking Videos2022

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 学会等名
      arXiv
    • 国際学会
  • [学会発表] Recipe-oriented Food Logging for Nutritional Management2022

    • 著者名/発表者名
      Yoko Yamakata, Akihisa Ishino, Akiko Sunto, Sosuke Amano, Kiyoharu Aizawa
    • 学会等名
      ACM Multimedia
    • 国際学会
  • [学会発表] Food Computing for Human and Planet Health2022

    • 著者名/発表者名
      Yoko Yamakata
    • 学会等名
      INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY
    • 国際学会 / 招待講演
  • [学会発表] ユーザ生成型レシピからの栄養価および環境影響の自動計算のための食材名分類モデルの構築2022

    • 著者名/発表者名
      山肩洋子, 王良羽, 山末英嗣, 駿藤晶子, 相澤清晴
    • 学会等名
      電子情報通信学会 技術研究報告
  • [学会発表] 一人称視点の食事映像からの食行動レポートの自動生成2022

    • 著者名/発表者名
      佐藤賢志郎, 山肩洋子, 相澤清晴
    • 学会等名
      電子情報通信学会 技術研究報告
  • [学会発表] 自然言語処理技術を利用した特許文献の分析2022

    • 著者名/発表者名
      難波英嗣
    • 学会等名
      技術情報協会
    • 招待講演

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi