• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

エージェントとの音声対話によるマルチメディア調理コンテンツの自動制作システム

Research Project

Project/Area Number 18700120
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Media informatics/Database
Research InstitutionNational Institute of Information and Communications Technology

Principal Investigator

山肩 洋子  National Institute of Information and Communications Technology, 第二研究部門・ユニバーサルメディア研究センター・超臨場感基盤, 専攻研究員 (60423018)

Project Period (FY) 2006 – 2007
Project Status Completed (Fiscal Year 2007)
Budget Amount *help
¥3,400,000 (Direct Cost: ¥3,400,000)
Fiscal Year 2007: ¥1,400,000 (Direct Cost: ¥1,400,000)
Fiscal Year 2006: ¥2,000,000 (Direct Cost: ¥2,000,000)
Keywordsコンテンツ / マルチメディア / エージェント / 調理 / 音声対話 / 自然言語理解
Research Abstract

一般の調理者が自作の料理のレシピを作成し,WEBを通じて公開する例が急増している。料理法は言葉だけで説明するのは難しいので,一般の調理者にもテレビの料理番組のような教示コンテンツを作れるよう,調理中にエージェントが調理者と対話することで音声解説を加えたり,映像編集を行うシステムの実現をめざした。本年度は主に調理映像とレシピとの対応付けに注目し,(i)調理開始から終了までの一連の調理映像をレシピと対応付ける仕組みと,(ii)調理者の手の動きから食材の変遷を獲得する仕組みについて研究を行った。
まず(i)については,調理の過程をフローグラフで表現する方法を利用し,映像認識結果とレシピをグラフレベルで対応付けることで,映像認識にある程度誤りが発生しても最適なマッチングを選ぶことで正しく対応付けることができることを示した。
次に(ii)については,(i)において食材の変遷を認識することが重要であることが示されたことから,調理台を上方から撮影した映像より各食材を追跡することを考えた。食材は見た目が多様で,加工を受けて変化し,かつ混ぜられることでその個数も変わるため,視覚的特徴のみによる追跡は困難である。しかし食材の変化にはかならず調理者が介在することから,調理者の手の動きを抽出することで変化した食材を特定し,食材の追跡を行う仕組みを提案した。
以上のような情報システムによる調理活動支援の試みは,日々の食事管理により病気を未然に防ぐことの必要性が叫ばれている昨今では,より重要なものとなっている。そこで京都大学教授の美濃導彦を中心に,電子情報通信学会の第三種研究会として「料理メディア研究会」を発足し,申請者もその幹事補佐として,調理支援に限らず健康医学や食育などの幅広い観点から人間の食を支援する情報システムのありかたを議論する活動を行ったことも本研究の成果の一つである。

Report

(2 results)
  • 2007 Annual Research Report
  • 2006 Annual Research Report
  • Research Products

    (11 results)

All 2008 2007 2006 Other

All Journal Article (8 results) (of which Peer Reviewed: 3 results) Presentation (1 results) Remarks (2 results)

  • [Journal Article] Smart Kitchen:A User Centric Cooking Support System (変更の可能性あり)2008

    • Author(s)
      Atsushi Hashimoto
    • Journal Title

      Proc.Information Processing and Management of Uncertainty in Knowledge-Based System (IPMU)

    • Related Report
      2007 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 調理者の手の動きを時空間制約とした調理中の食材追跡2008

    • Author(s)
      森直 幸
    • Journal Title

      電子情報通信学会 マルチメディアと仮想現実感研究会(MVE)技術報告 Vol.107 No.454

      Pages: 45-50

    • Related Report
      2007 Annual Research Report
  • [Journal Article] Smart Kitchen Project-調理者の調理を妨げない支援のための調理行動認識に向けて-2008

    • Author(s)
      山肩 洋子
    • Journal Title

      月刊『画像ラボ』 Vol.19 No.1

      Pages: 49-53

    • NAID

      40015820688

    • Related Report
      2007 Annual Research Report
  • [Journal Article] 調理コンテンツの自動作成のためのレシピテキストと調理観測映像の対応付け2007

    • Author(s)
      山肩 洋子
    • Journal Title

      電子情報通信学会論文誌 Vol.J90-D No.10

      Pages: 2817-2829

    • NAID

      110007380589

    • Related Report
      2007 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 食材に視覚的特徴変化を生じさせる加工における食材と加工動作の同時認識2007

    • Author(s)
      山肩 洋子
    • Journal Title

      電子情報通信学会論文誌 Vol.J90-DNo.9

      Pages: 2550-2561

    • NAID

      110007380883

    • Related Report
      2007 Annual Research Report
    • Peer Reviewed
  • [Journal Article] ユーザの性格に応じた調理アドバイス文章の選択2007

    • Author(s)
      長光左千男
    • Journal Title

      情報処理学会論文誌 48・2

      Pages: 701-710

    • Related Report
      2006 Annual Research Report
  • [Journal Article] 調理における中間食材に対する呼称の解釈法の提案2006

    • Author(s)
      山肩洋子
    • Journal Title

      HAIシンポジウム2006予稿集(電子情報通信学会他 共催)

    • NAID

      10018699186

    • Related Report
      2006 Annual Research Report
  • [Journal Article] 食材に視覚的特徴変化を生じさせる加工における食材と加工動作の同時認識

    • Author(s)
      山肩洋子
    • Journal Title

      電子情報通信学会論文誌 (採録決定)(未定)

    • NAID

      110007380883

    • Related Report
      2006 Annual Research Report
  • [Presentation] 「1に2を混ぜてください」 「1ってなんだっけ?」-調理法を音声で教示するための中間物の呼称の決定・理解-"2007

    • Author(s)
      山肩 洋子
    • Organizer
      第6回NPO法人ウェアラブルコンピュータ研究開発機構交流会招待講演
    • Place of Presentation
      京都大学学術情報メディアセンター
    • Year and Date
      2007-11-07
    • Related Report
      2007 Annual Research Report
  • [Remarks] 京都大学学術情報メディアセンターSmart Kitchen Prolect ホームページ

    • URL

      http://www.imell.kuis.kyoto-u.ac.jp/research/skitchen.html

    • Related Report
      2007 Annual Research Report
  • [Remarks] 電子情報研究会第3種研究会 「料理メディア研究会」 ホームページ

    • URL

      http://www.ccm.media.kyoto-u.ac.jp/CM/

    • Related Report
      2007 Annual Research Report

URL: 

Published: 2006-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi