• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実績報告書

手順文書からの知識獲得

研究課題

研究課題/領域番号 20H04210
研究機関京都大学

研究代表者

森 信介  京都大学, 学術情報メディアセンター, 教授 (90456773)

研究分担者 難波 英嗣  中央大学, 理工学部, 教授 (50345378)
亀甲 博貴  京都大学, 学術情報メディアセンター, 助教 (50827524)
山肩 洋子  東京大学, 大学院情報理工学系研究科, 准教授 (60423018)
研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード上位下位関係 / 部分全体関 / マルチモダリティー
研究実績の概要

上位下位関係の推定のために、前年までに実装した個別の用語対が上位下位関係にある度合いを推定する手法の結果に、最大全域木を計算する方法を考案し設計した。部分全体関係についても同様であるが、木構造ではなく非巡回有向グラフになるという制約での探索を考案した。両方の実装を途中まで行った。
応用として、基本のレシピをもとに、自分のレシピと異なる部分だけを編集することでレシピを記録することができるアプリRecipeLogを開発している。このアプリを改良し、各家庭のレシピのどこがどのように違うのかを特定する仕組みを構築した。
加えて、提案手法を特許文に対して適用することも試みた。特許の要約と代表図面に着目し、特許データから手順オントロジーを構築する手法を提案した。また、その第一歩として、機械学習に基づく特許画像からのフローチャートの抽出と特許要約の構造解析手法について実験を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

ロボットの制御のための動画からのフレームの取り出しや、動作結果の画像の選択課題に注力したこともあって、言語内での関係の推定については後回しにした。言語内のみでの関係推定についてはその次の優先順位として取り組んでいるが、学会発表に至るまでの進捗にはならなかった。

今後の研究の推進方策

上位下位関係と部分全体関係をそれぞれのグラフ構造の制約下での探索する手法を実装し評価する。
動作の結果得られる物のベクトルについては、調理実施動画のフレームを選択する取組を行った。名称がある物については、これのベクトルについても推定する手法を考案するとともに、画像との比較も行う。
暗黙の道具や動作の結果得られる物のベクトルについても、上位下位関係と部分全体関係と同様に行う。この関係につては、グラフ構造の制約がないだろうと想定しているが、何らかの制約がないかを考察し、それも用いた精度向上を目指す。
得られた結果をレシピを記録することができるアプリRecipeLogに応用する。また、特許データに対しても適用し、手法の一般性を確認する。

  • 研究成果

    (11件)

すべて 2022 2021 その他

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 1件) 学会発表 (5件) 備考 (2件)

  • [雑誌論文] State-aware Video Procedural Captioning2021

    • 著者名/発表者名
      Taichi Nishimura, Atsushi Hashimoto, Yoshitaka Ushiku, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      ACM Multimedia

      巻: 0 ページ: 0

    • 査読あり
  • [雑誌論文] Egocentric Biochemical Video-and-Language Dataset2021

    • 著者名/発表者名
      Taichi Nishimura, Kojiro Sakoda, Atsushi Hashimoto, Yoshitaka Ushiku, Natsuko Tanaka, Fumihito Ono, Hirotaka Kameko, Shinsuke Mori
    • 雑誌名

      CLVL (ICCV workshop)

      巻: 0 ページ: 0

    • 査読あり
  • [雑誌論文] MIRecipe: A Recipe Dataset for Stage-Aware Recognition of Changes in Appearance of Ingredients2021

    • 著者名/発表者名
      Yixin Zhang, Yoko Yamakata, and Keishi Tajima
    • 雑誌名

      ACM Multimedia Asia 2021

      巻: 16 ページ: 1-7

    • 査読あり / オープンアクセス
  • [雑誌論文] RecipeLog: Recipe Authoring App for Accurate Food Recording2021

    • 著者名/発表者名
      Akihisa Ishino, Yoko Yamakata, Hiroaki Karasawa and Kiyoharu Aizawa
    • 雑誌名

      ACM Multimedia 2021

      巻: Technical Demo ページ: 2798-2800

    • 査読あり
  • [学会発表] RecipeLog: 手順構造を持ったマルチメディアレシピのための入力インタフェース2022

    • 著者名/発表者名
      石野耀久、山肩洋子、唐澤弘明、天野宗佑、相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会 映情学技報
  • [学会発表] 食行動の自動認識に向けた食事中の一人称視点映像データセットの構築2022

    • 著者名/発表者名
      佐藤賢志郎、天野宗佑、山肩洋子、相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会 映情学技報
  • [学会発表] 特許中の画像とテキストを用いた手順オントロジーの構築2022

    • 著者名/発表者名
      樊 エイブン, 福田 悟志, 難波 英嗣,
    • 学会等名
      情報処理学会第145回情報基礎とアクセス技術研究発表会
  • [学会発表] 映像からのストーリー生成: イベント選択器と文生成器の同時学習2022

    • 著者名/発表者名
      西村 太一, 橋本 敦史, 牛久 祥孝, 森 信介
    • 学会等名
      言語処理学会第28回年次大会
  • [学会発表] レシピ分野における動作対象の状態変化を考慮したデータセットの構築と検索モデルの提案2022

    • 著者名/発表者名
      白井圭佑, 橋本敦史, 牛久祥孝, 栗田修平, 亀甲博貴, 森信介
    • 学会等名
      言語処理学会第28回年次大会
  • [備考] 大規模テキストアーカイブ研究分野

    • URL

      http://www.lsta.media.kyoto-u.ac.jp/

  • [備考] フローグラフコーパス (FG corpus)

    • URL

      http://www.lsta.media.kyoto-u.ac.jp/resource/data/recipe/

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi