• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

音声対話におる調理法教示のための中間食材の認識および呼称の決定・解釈

研究課題

研究課題/領域番号 20700120
研究種目

若手研究(B)

配分区分補助金
研究分野 メディア情報学・データベース
研究機関京都大学 (2010)
独立行政法人情報通信研究機構 (2008-2009)

研究代表者

山肩 洋子  京都大学, 大学院・情報学研究科, 准教授 (60423018)

研究期間 (年度) 2008 – 2010
研究課題ステータス 完了 (2010年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2010年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2009年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2008年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワードヒューマンインターフェイス / メディア情報学 / 音声対話システム / 映像認識 / 自然言語理解
研究概要

一般の調理者の多くは,新しい料理に挑戦する際,料理本などのレシピテキストを読むのが一般的であるが,テキストを読みながら包丁や火を扱うのは危険なため,レシピテキストに基づき調理法を音声で教示するシステムの構築を目指した.これを実現するには,レシピテキストをただ音声で読み上げればいいわけではなく,レシピテキストにおいて「1を2に混ぜてください」というように手順番号で示されている中間食材に対して,「先ほど切った玉葱」や「玉葱と人参の混ざったもの」というように,どの中間食材を指しているか調理者が容易に判別できる呼称を与えなければならない.そこで本研究では,調理者が中間食材をどのようなものと認識しているかを理解し,また調理者との間で共通の名前空間を確立することで,中間食材の呼称を決定する機構の研究を行った.
この研究の成果により,中間食材は『直前の加工名』『構成材料名』『料理名』のほか,『器』『位置』『よく使われる中間物名(生地・タネ・出汁等)』などが組合さった呼び方がなされ,よってキッチンの状況をリアルタイムに認識することで呼称の自由度が向上することが示された.また,本研究で提案したモデルに従い言語解釈することにより,調理中に現れたすべての食材のうち93%の食材について正しく同定できたことを示した。
さらに,料理コミュニケーション支援ソフトウェアIwacamの開発に参加し,Iwacamに音声対話システムとこれまで開発してきた食材認識技術を組み込んだ.これにより,カメラやマイクにより調理を観測し、その情報を逐次解析したり,音声対話により認識誤りを補正することで、各時刻に調理台上にどのような食材が存在するか、どのような加工を加えられているか、それは過去のどの物体と同一のものかを判別するシステムを実装した.

報告書

(4件)
  • 2010 実績報告書   研究成果報告書 ( PDF )
  • 2009 実績報告書
  • 2008 実績報告書
  • 研究成果

    (29件)

すべて 2012 2011 2010 2009 2008 その他

すべて 雑誌論文 (6件) (うち査読あり 2件) 学会発表 (19件) 備考 (4件)

  • [雑誌論文] 呼称により指示された中間食材を同定するための画像認識モデルおよび呼称解釈法の提案2011

    • 著者名/発表者名
      山肩洋子, 角所考, 美濃導彦
    • 雑誌名

      電子情報通信学会論文誌

      巻: Vol.J94-A, No.7 ページ: 519-131

    • 関連する報告書
      2010 研究成果報告書
  • [雑誌論文] 把持の順序と外見の変化モデルを利用した調理作業における食材追跡2011

    • 著者名/発表者名
      橋本敦史, 森直幸, 舩冨卓哉, 山肩洋子, 椋木雅之, 角所考, 美濃 導彦
    • 雑誌名

      電子情報通信学会論文誌

      巻: Vol.J94-A, No.7 ページ: 509-518

    • NAID

      110008673446

    • 関連する報告書
      2010 研究成果報告書
  • [雑誌論文] 呼称により指示された中間食材を同定するための画像認識モデルおよび呼称解釈法の提案2011

    • 著者名/発表者名
      山肩洋子
    • 雑誌名

      電子時報通信学会論文誌

      巻: Vol.J94-ANo.7 ページ: 519-531

    • 関連する報告書
      2010 実績報告書
    • 査読あり
  • [雑誌論文] 把持の順序と外見の変化モデルを利用した調理作業における食材追跡2011

    • 著者名/発表者名
      橋本敦史
    • 雑誌名

      電子情報通信学会論文誌

      巻: Vol.J94-ANo.7 ページ: 509-518

    • 関連する報告書
      2010 実績報告書
    • 査読あり
  • [雑誌論文] 小特集生活に役立つメディア処理-料理行動を科学する-3. 料理を作る「調理」という複雑な知的創作活動を最新の情報科学で支援する2010

    • 著者名/発表者名
      山肩洋子, 舩冨卓哉, 上田博唯, 辻秀典, 美濃導彦, 中内靖, 宮脇健三郎, 中村裕一, 椎尾一郎
    • 雑誌名

      電子情報通信学会誌

      巻: Vol.93, No.1 ページ: 39-47

    • 関連する報告書
      2010 研究成果報告書
  • [雑誌論文] 小特集生活に役立つメディア処理-料理行動を科学する-3料理を作る2010

    • 著者名/発表者名
      山肩洋子
    • 雑誌名

      電子情報通信学会誌 Vol.93, No.1

      ページ: 39-47

    • 関連する報告書
      2009 実績報告書
  • [学会発表] 画像・振動音・荷重データを統合的に用いた食材認識2012

    • 著者名/発表者名
      井上仁
    • 学会等名
      電子情報通信学会マルチメディア・仮想環境基礎(MVE)研究会
    • 発表場所
      富山県,富山市
    • 年月日
      2012-03-12
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 画像・振動音・荷重データを統合的に用いた食材認識2012

    • 著者名/発表者名
      井上仁, 中村和晃, 舩冨卓哉, 橋本敦史, 上田真由美, 山肩洋子, 美濃導彦
    • 学会等名
      マルチメディア・仮想環境基礎研究会(MVE)
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] Cooking Ingredient Recognition Based on the Load on a Chopping Board during Cutting2011

    • 著者名/発表者名
      Mayumi Ueda
    • 学会等名
      3rd Workshop on Multimedia for Cooking and Eating Activities : CEA2011
    • 発表場所
      California, USA
    • 年月日
      2011-12-06
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 鮨屋における調理場観測映像の解析によるサービス支援2011

    • 著者名/発表者名
      山肩洋子
    • 学会等名
      第2回文化とコンピューティング国際会議共催イベント「食文化に関する学際的探求:作る,食べる,もてなす」
    • 発表場所
      京都府,京都市
    • 年月日
      2011-10-20
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 調理における切断加工時の荷重特徴を用いた食材認識2011

    • 著者名/発表者名
      土本良樹
    • 学会等名
      電子時報通信学会マルチメディア・仮想環境基礎(MVE)研究会
    • 発表場所
      長崎,伊王島
    • 年月日
      2011-03-07
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Cooking Ingredient Recognition Based on the Load on a Chopping Board during Cutting2011

    • 著者名/発表者名
      Yoko Yamakata, Yoshiki Tsuchimoto, Atsushi Hashimoto, Takuya Funatomi, Mayumi Ueda, Michihiko Minoh
    • 学会等名
      Workshop on Multimedia for Cooking and Eating Activities(CEA2011) in conjunction with The IEEE International Symposium on Multimedia
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] 鮨屋における調理場観測映像の解析によるサービス支援2011

    • 著者名/発表者名
      山肩洋子
    • 学会等名
      第2回文化とコンピューティング国際会議共催イベント「食文化に関する学際的探求: 作る,食べる,もてなす」
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] 調理における切断加工時の荷重特徴を用いた食材認識2011

    • 著者名/発表者名
      土本 良樹, 橋本 敦史, 舩冨 卓哉, 山肩 洋子, 上田 真由美, 美濃 導彦
    • 学会等名
      電子情報通信学会 マルチメディア・仮想環境基礎(MVE)研究会
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] Object Recognition based on Object's Identity for Cooking Recognition Task2010

    • 著者名/発表者名
      Yoko Yamakata
    • 学会等名
      2nd Workshop on Multimedia for Cooking and Eating Activities : CEA2010
    • 発表場所
      Taichung, Taiwan
    • 年月日
      2010-12-14
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 料理コミュニケーション支援ソフトウェアIwacamの一般家庭への導入事例報告2010

    • 著者名/発表者名
      山肩洋子
    • 学会等名
      第9回情報科学技術フォーラム(FIT2010)
    • 発表場所
      福岡県,福岡市
    • 年月日
      2010-09-09
    • 関連する報告書
      2010 実績報告書
  • [学会発表] 料理映像コミュニケーション基盤ソフトウェアIwaCamを用いた遠隔共同料理実験2010

    • 著者名/発表者名
      辻秀典
    • 学会等名
      電子情報通信学会マルチメディア・仮想環境基礎(MVE)研究会
    • 発表場所
      京都府,京都市
    • 年月日
      2010-05-14
    • 関連する報告書
      2010 実績報告書
  • [学会発表] Object Recognition based on Object's Identity for Cooking Recognition Task2010

    • 著者名/発表者名
      YAMAKATA YOKO, KAKUSHO KOH, MINOH MICHIHIKO
    • 学会等名
      2nd Workshop on Multimedia for Cooking and Eating Activities : CEA2010, in conjunction with The IEEE International Symposium on Multimedia
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] 料理映像コミュニケーション基盤ソフトウェアIwaCamを用いた遠隔共同料理実験2010

    • 著者名/発表者名
      辻 秀典, 山肩 洋子, 舩冨 卓哉, 近藤 一晃, 出口 大輔, 井手 一郎, 宮脇 健三郎, 佐野 睦夫
    • 学会等名
      電子情報通信学会 マルチメディア・仮想環境基礎(MVE)研究会
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] 双方向映像配信技術により遠隔地間での共食・共同調理を支援するコミュニケーションツール2009

    • 著者名/発表者名
      料理メディア研究会
    • 学会等名
      電子情報通信学会2009年ヒューマン・コミュニケーション・グループシンポジウム
    • 発表場所
      札幌コンベンションセンター,北海道札幌市
    • 年月日
      2009-12-10
    • 関連する報告書
      2009 実績報告書
  • [学会発表] A Study of Object Naming According to the Manufacturing Processes in a Cooking Activity2009

    • 著者名/発表者名
      Yoko Yamakata
    • 学会等名
      ACM Multimedia 2009 Workshop on Multimedia for Cooking and Eating Activities (CEA2009)
    • 発表場所
      Beijing Hotel, Beijing, China
    • 年月日
      2009-10-23
    • 関連する報告書
      2009 実績報告書
  • [学会発表] 双方向映像配信技術により遠隔地間での共食・共同調理を支援するコミュニケーションツール-基盤ソフトウェアの開発報告-2009

    • 著者名/発表者名
      料理メディア研究専門委員会
    • 学会等名
      2009年度HCGシンポジウム
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] A Study of Object Naming According to the Manufacturing Processes in a Cooking Activity2009

    • 著者名/発表者名
      Yoko Yamakata, Takuya Funatomi, Koh Kakusho, Michihiko Minoh
    • 学会等名
      ACM Multimedia 2009 Workshop on Multimedia for Cooking and Eating Activities (CEA2009)
    • 関連する報告書
      2010 研究成果報告書
  • [学会発表] Smart Kitchen : A User Centric Cooking Support System2008

    • 著者名/発表者名
      Atsushi Hashimoto
    • 学会等名
      Proceedings of International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU08)
    • 発表場所
      Malaga, Spain
    • 年月日
      2008-06-23
    • 関連する報告書
      2008 実績報告書
  • [学会発表] Smart Kitchen : A User Centric Cooking Support System2008

    • 著者名/発表者名
      Atsushi Hashimoto, Naoyuki Mori, Takuya Funatomi, Yoko Yamakata, Koh Kakusho, Michihiko Minoh
    • 学会等名
      Information Processing and Management of Uncertainty in Knowledge-Based Systems
    • 関連する報告書
      2010 研究成果報告書
  • [備考] 電子情報通信学会ヒューマン・コミュニケーション・グループ 食メディア研究会において副委員長を担当

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CEA/

    • 関連する報告書
      2010 研究成果報告書
  • [備考] 電子情報通信学会ヒューマン・コミュニケーション・グループ食メディア研究会において副委員長を担当

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CEA/

    • 関連する報告書
      2010 実績報告書
  • [備考] 電子情報通信学会第三種研究会料理メディア研究会ホームページ

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CM/

    • 関連する報告書
      2009 実績報告書
  • [備考] 電子情報通信学会 第三種研究会 料理メディア研究会 ホームページ

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CM/

    • 関連する報告書
      2008 実績報告書

URL: 

公開日: 2008-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi