• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

食材,道具,動作の認識を連携させた調理行動の認識

研究課題

研究課題/領域番号 24240030
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
研究分野 知覚情報処理・知能ロボティクス
研究機関京都大学

研究代表者

美濃 導彦  京都大学, 学術情報メディアセンター, 教授 (70166099)

研究分担者 椋木 雅之  京都大学, 学術情報メディアセンター, 准教授 (20283640)
森 信介  京都大学, 学術情報メディアセンター, 准教授 (90456773)
山肩 洋子  京都大学, 情報学研究科, 准教授 (60423018)
舩冨 卓哉  京都大学, 学術情報メディアセンター, 助教 (20452310)
中村 和晃  京都大学, 法学(政治学)研究科(研究院), 助手 (10584047)
橋本 敦史  京都大学, 法学(政治学)研究科(研究院), 助手 (80641753)
飯山 将晃  京都大学, 学術情報メディアセンター, 准教授 (70362415)
連携研究者 中村 和晃  大阪大学, 工学(系)研究科(研究院), 助教 (10584047)
舩冨 卓哉  奈良先端科学技術大学院大学, 情報科学研究科, 准教授 (20452310)
研究期間 (年度) 2012-04-01 – 2016-03-31
研究課題ステータス 完了 (2015年度)
配分額 *注記
46,150千円 (直接経費: 35,500千円、間接経費: 10,650千円)
2015年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円)
2014年度: 13,000千円 (直接経費: 10,000千円、間接経費: 3,000千円)
2013年度: 10,790千円 (直接経費: 8,300千円、間接経費: 2,490千円)
2012年度: 10,790千円 (直接経費: 8,300千円、間接経費: 2,490千円)
キーワード映像,文章,音声等認識 / 情報図書館学 / スマートセンサ情報システム / 知能ロボティクス / 行動認識 / 画像,文章,音声等認識 / 画像、文章、音声等認識
研究成果の概要

一般の動物とヒトを隔てる「知能」として,本研 究では道具の使用,および論理や推論による問題解決能力を利用して行う「知的行動」の認識を目指し,題材として「キッチンでの調理」を取り上げ,道具,食材,調理動作の認識,および言語的に記述された行動の理解に取り組んだ.
観測データから認識できる「表出動作」のうち,特に物体の把持・解放を中心として,レシピ中に言語的に記述された「概念的行動」の完了認識や次の行動の予測をする手法を構築した.また,テキストから扱われる食材の種類やそれに対する行動,目標状態などを概念的行動」として自動で獲得し,レシピ内でのそれらの依存関係をワークフローとして抽出する技術を構築した.

報告書

(5件)
  • 2015 実績報告書   研究成果報告書 ( PDF )
  • 2014 実績報告書
  • 2013 実績報告書
  • 2012 実績報告書
  • 研究成果

    (36件)

すべて 2016 2015 2014 2012 その他

すべて 雑誌論文 (6件) (うち査読あり 5件、 オープンアクセス 3件、 謝辞記載あり 4件) 学会発表 (28件) (うち国際学会 2件) 備考 (2件)

  • [雑誌論文] フローグラフからの手順書の生成2016

    • 著者名/発表者名
      山崎 健史, 吉野 幸一郎, 前田 浩邦, 笹田 鉄郎, 橋本 敦史, 舩冨 卓哉, 山肩 洋子, 森 信介
    • 雑誌名

      情報処理学会論文誌

      巻: 57巻3号 ページ: 849-862

    • NAID

      170000130900

    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] レシピ用語の定義とその自動認識のためのタグ付与コーパスの構築2015

    • 著者名/発表者名
      笹田 鉄郎, 森 信介, 山肩 洋子, 前田 浩邦, 河原 達也
    • 雑誌名

      自然言語処理

      巻: 22 号: 2 ページ: 107-131

    • DOI

      10.5715/jnlp.22.107

    • NAID

      130005099405

    • ISSN
      1340-7619, 2185-8314
    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] Development and Evaluation of Near Real-Time Automated System for Measuring Consumption of Seasonings2015

    • 著者名/発表者名
      Kazuaki NAKAMURA, Takuya FUNATOMI, Atsushi HASHIMOTO, Mayumi UEDA, Michihiko MINOH
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E98.D 号: 12 ページ: 2229-2241

    • DOI

      10.1587/transinf.2015EDP7072

    • NAID

      130005112334

    • ISSN
      0916-8532, 1745-1361
    • 関連する報告書
      2015 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] 食材認識のための画像と食材切断時の振動音及び荷重の利用2014

    • 著者名/発表者名
      井上仁, 橋本敦史, 中村和晃, 舩冨卓哉, 山肩洋子,上田真由美, 美濃導彦
    • 雑誌名

      電子情報通信学会論文誌

      巻: J97-D No.9 ページ: 1490-1502

    • 関連する報告書
      2014 実績報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] 机上物体検出を対象とした接触理由付けによる誤検出棄却2012

    • 著者名/発表者名
      橋本 敦史, 舩冨 卓哉, 中村 和晃, 美濃 導彦
    • 雑誌名

      電子情報通信学会和文論文誌

      巻: J95-D ページ: 2113-2123

    • NAID

      110009553853

    • 関連する報告書
      2012 実績報告書
    • 査読あり
  • [雑誌論文] 自然言語処理における分野適応2012

    • 著者名/発表者名
      森 信介
    • 雑誌名

      人工知能学会誌

      巻: 27(4) ページ: 365-372

    • 関連する報告書
      2012 実績報告書
  • [学会発表] 経路探索に基づく映像とワークフローの対応付け2016

    • 著者名/発表者名
      松村 優樹・橋本 敦史・森 信介・舩冨 卓哉・飯山 将晃・美濃 導彦
    • 学会等名
      電子情報通信学会マルチメディア仮想環境基礎研究会
    • 発表場所
      名桜大学(沖縄県名護市)
    • 年月日
      2016-03-07
    • 関連する報告書
      2015 実績報告書
  • [学会発表] KUSK Object Dataset:調理作業中の物体への接触履歴データセットの作成2015

    • 著者名/発表者名
      橋本 敦史, 飯山 将晃, 森 信介, 美濃 導彦
    • 学会等名
      電子情報通信学会データ工学研究会
    • 発表場所
      神奈川工科大学 横浜オフィス(神奈川県横浜市西区)
    • 年月日
      2015-09-25
    • 関連する報告書
      2015 実績報告書
  • [学会発表] A Framework for Procedural Text Understanding2015

    • 著者名/発表者名
      Hirokuni Maeta, Tetsuro Sasada, Shinsuke Mori
    • 学会等名
      The 14th International Conference on Parsing Technologies
    • 発表場所
      The Auditorium of the University of the Basque Country, Bilbao, Spain
    • 年月日
      2015-07-22
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] Clustering Scenes in Cooking Video Guided by Object Access Guidance?2015

    • 著者名/発表者名
      Yuki Matsumura, Atsushi Hashimoto, Shinsuke Mori, Masayuki Mukunoki, Michihiko Minoh
    • 学会等名
      7th Workshop on Multimedia for Cooking and Eating Activities
    • 発表場所
      Torino Incontra, Centro Congressi, Torino, Italy
    • 年月日
      2015-07-03
    • 関連する報告書
      2015 実績報告書
    • 国際学会
  • [学会発表] 物体の把持解放を手がかりとした調理映像からの動作区間検出2015

    • 著者名/発表者名
      松村優樹, 橋本敦史,椋木雅之,美濃導彦
    • 学会等名
      2015年電子情報通信学会総合大会
    • 発表場所
      立命館大学びわこ・くさつキャンパス(滋賀県草津市)
    • 年月日
      2015-03-11
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 料理名が同じレシピ間の手順構造マッピングによる動作名オントロジーの導出2014

    • 著者名/発表者名
      山肩洋子, 今堀慎治, 笹田鉄郎, 森信介
    • 学会等名
      電子情報通信学会 HCGシンポジウム
    • 発表場所
      海峡メッセ下関(山口県下関市)
    • 年月日
      2014-12-19
    • 関連する報告書
      2014 実績報告書
  • [学会発表] KUSK Dataset: Toward a Direct Understanding of Recipe Text and Human Cooking Activity2014

    • 著者名/発表者名
      Atsushi Hashimoto, Tetsuro Sasada, Yoko Yamakata, Shinsuke Mori, Michihiko Minoh
    • 学会等名
      Workshop on Smart Technologyfor Cooking and Eating Activities (in conjunction with UbiComp2014)
    • 発表場所
      Motif Seattle Hotel(Seattle, USA)
    • 年月日
      2014-09-14
    • 関連する報告書
      2014 実績報告書
  • [学会発表] A Framework for Recipe Text Interpretation2014

    • 著者名/発表者名
      Hirokuni Maeta, Tetsuro Sasada, Shinsuke Mori
    • 学会等名
      Workshop on Smart Technologyfor Cooking and Eating Activities (in conjunction with UbiComp2014)
    • 発表場所
      Motif Seattle Hotel(Seattle, USA)
    • 年月日
      2014-09-14
    • 関連する報告書
      2014 実績報告書
  • [学会発表] A Method for Detecting Gaze-required action while Cooking for Assisting Video Communication2014

    • 著者名/発表者名
      Yoko Yamakata, Asuka Miyazawa, Atsushi Hashimoto, Takuya Funatomi, Michihiko Minoh
    • 学会等名
      Workshop on Smart Technologyfor Cooking and Eating Activities (in conjunction with UbiComp2014)
    • 発表場所
      Motif Seattle Hotel(Seattle, USA)
    • 年月日
      2014-09-14
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 調理手順文書の自然言語解析結果からの食材・加工からなる作業ツリーの構築2014

    • 著者名/発表者名
      山肩洋子, 今堀慎治, 前田浩邦, 森 信介
    • 学会等名
      データ工学研究会(DE)
    • 発表場所
      国立情報学研究所(東京都千代田区)
    • 年月日
      2014-09-11
    • 関連する報告書
      2014 実績報告書
  • [学会発表] How does User's Access to Object Make HCI Smooth in Recipe Guidance?2014

    • 著者名/発表者名
      Atsushi Hashimoto, Jin Inoue, Takuya Funatomi, Michihiko Minoh
    • 学会等名
      HCI International 2014
    • 発表場所
      Creta Maris Resort and Convention Centre (Crete, Greece)
    • 年月日
      2014-06-25
    • 関連する報告書
      2014 実績報告書 2013 実績報告書
  • [学会発表] Language Resource Addition: Dictionary or Corpus?2014

    • 著者名/発表者名
      Shinsuke Mori, Graham Neubig
    • 学会等名
      The 9th International Conference on Language Resources and Evaluation (LREC)
    • 発表場所
      the Harpa Conference Center (Reykjavik, Iceland)
    • 年月日
      2014-05-29
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Flow Graph Corpus from Recipe Texts2014

    • 著者名/発表者名
      Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada
    • 学会等名
      The 9th International Conference on Language Resources and Evaluation (LREC)
    • 発表場所
      the Harpa Conference Center (Reykjavik, Iceland)
    • 年月日
      2014-05-28
    • 関連する報告書
      2014 実績報告書
  • [学会発表] Flow Graph Corpus from Recipe Texts

    • 著者名/発表者名
      Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada
    • 学会等名
      The 9th International Conference on Language Resources and Evaluation
    • 発表場所
      the Harpa Conference Center (Reykjavik, Iceland)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 誕生・使用事由によるレシピ検索 ~ 生い立ちレシピサーチ ~

    • 著者名/発表者名
      門脇拓也, 山肩洋子, 森 信介, 田中克己
    • 学会等名
      第6回データ工学と情報マネジメントに関するフォー ラム(DEIM)
    • 発表場所
      淡路夢舞台&ウェスティン淡路(兵庫県)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Feature Extraction and Summarization of Recipes Using Flow Graph

    • 著者名/発表者名
      Yoko Yamakata, Shinji Imahori, Yuichi Sugiyama, Shinsuke Mori, Katsumi Tanaka
    • 学会等名
      The 5th International Conference on Social Informatics
    • 発表場所
      京都大学百周年時計台記念館(京都府)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] レシピテキストのためのフローグラフの定義

    • 著者名/発表者名
      森 信介, 山肩 洋子, 笹田 鉄郎, 前田 浩邦
    • 学会等名
      情報処理学会自然言語処理研究会
    • 発表場所
      屋久島 環境文化村センター(鹿児島県)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] Detecting start and end times of object-handlings on a table by fusion of camera and load sensors

    • 著者名/発表者名
      Ryuta Yasuoka, Atsushi Hashimoto, Takuya Funatomi, Michihiko Minoh
    • 学会等名
      The 5th Workshop on Multimedia for Cooking and Eating Activities
    • 発表場所
      Centre Convencions Internacional Barcelona, Universitat Pompeu Fabra (Barcelona, Spain)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] レシピテキストからのフローグラフコーパス作成

    • 著者名/発表者名
      前田 浩邦, 山肩 洋子, 森 信介
    • 学会等名
      電子情報通信学会 データ工学研究会
    • 発表場所
      国立情報学研究所(東京都)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 荷重センサを用いたインタラクション検出

    • 著者名/発表者名
      安岡竜太,橋本敦史,舩冨卓哉,美濃導彦
    • 学会等名
      電子情報通信学会食メディア研究会2013年8月研究会
    • 発表場所
      公立はこだて未来大学(北海道)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 見え特徴と荷重バランス特徴を用いた冷蔵庫における食材管理手法

    • 著者名/発表者名
      加茂田 玲奈, 上田 真由美, 舩冨 卓哉, 飯山 将晃, 美濃 導彦
    • 学会等名
      第19回画像センシングシンポジウム(SSII2013)
    • 発表場所
      パシフィコ横浜(神奈川県)
    • 関連する報告書
      2013 実績報告書
  • [学会発表] 調理者の手と容器の位置関係を利用した「かき混ぜる」行動の認識

    • 著者名/発表者名
      宮澤 飛鳥, 中村 和晃, 橋本 敦史, 舩冨 卓哉, 美濃 導彦
    • 学会等名
      電子情報通信学会 データ工学研究会(DE)
    • 発表場所
      国立情報学研究所(東京都)
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Grocery Re-identificationusing Load Balance Feature on the Shelffor Monitoring Grocery Inventory

    • 著者名/発表者名
      Rena Kamoda, Mayumi Ueda, Takuya Funatomi, Masaaki Iiyama, Michihiko Minoh
    • 学会等名
      Proceedings of the ECAI-Workshop on Cooking with Computers
    • 発表場所
      University of Science and Letters (Montpellier, France)
    • 関連する報告書
      2012 実績報告書
  • [学会発表] A Machine Learning Approach to Recipe Text Processing

    • 著者名/発表者名
      Shinsuke Mori, Tetsuro Sasada, Yoko Yamakata, Koichiro Yoshino
    • 学会等名
      Proceedings of the ECAI-Workshop on Cooking with Computers
    • 発表場所
      University of Science and Letters (Montpellier, France)
    • 関連する報告書
      2012 実績報告書
  • [学会発表] TexCutとパッチ型背景モデルの組み合わせによる机上物体検出システム

    • 著者名/発表者名
      橋本 敦史, 中村 和晃, 舩冨 卓哉, 美濃 導彦
    • 学会等名
      画像の認識・理解シンポジウム
    • 発表場所
      福岡国際会議場(福岡県)
    • 関連する報告書
      2012 実績報告書
  • [学会発表] Recognizing Ingredients at Cutting Process by Integrating Multimodal Features

    • 著者名/発表者名
      Atsushi Hashimoto, Jin Inoue, Kazuaki Nakamura, Takuya Funatomi, Mayumi Ueda, Yoko Yamakata, Michihiko Minoh
    • 学会等名
      The 4th Workshop on Multimedia for Cooking and Eating Activities
    • 発表場所
      奈良県新公会堂(奈良県)
    • 関連する報告書
      2012 実績報告書
  • [学会発表] IwaCam: a Multimedia Processing Platform for Supporting Video-Based Cooking Communication

    • 著者名/発表者名
      Hidenori Tsuji, Yoko Yamakata, Takuya Funatomi, Hiromi Hiramatsu, Shinsuke Mori
    • 学会等名
      International Conference on Future Generation Communication Technology
    • 発表場所
      British Computer Society, London, (United Kingdom)
    • 関連する報告書
      2012 実績報告書
  • [学会発表] カメラと荷重センサの統合による机上物体に対するハンドリング開始・終了の検出

    • 著者名/発表者名
      安岡 竜太, 橋本 敦史, 舩冨 卓哉, 美濃 導彦
    • 学会等名
      電子情報通信学会 マルチメディア・仮想環境基礎研究会
    • 発表場所
      福岡工業大学(福岡県)
    • 関連する報告書
      2012 実績報告書
  • [備考] レシピ フロー グラフ コーパス (r-FG corpus)

    • URL

      http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html

    • 関連する報告書
      2013 実績報告書
  • [備考] Kyoto University Smart Kitchen Dataset

    • URL

      http://kusk.mm.media.kyoto-u.ac.jp/

    • 関連する報告書
      2013 実績報告書

URL: 

公開日: 2013-05-15   更新日: 2019-07-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi