調理をしながら調理法を説明した音声からのレシピテキストの自動生成

• 研究課題/領域番号: 23700144
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: メディア情報学・データベース
• 研究機関: 京都大学
• 研究代表者: 山肩 洋子 京都大学, 情報学研究科, 特定准教授 (60423018)
• 研究期間 (年度): 2011 – 2014
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2014年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2013年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2012年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2011年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
• キーワード: メディア情報学 / ヒューマンインターフェイス / 音声対話システム / 映像認識 / 自然言語処理 / メディア情報処理

研究成果の概要

本研究では、調理者が調理をしながらその調理法を説明した音声から、レシピテキストを自動生成する手法の研究を行った。レシピテキストにおいては、手順番号①の手順で生じた中間食材を、「①に②を混ぜます」というように手順番号で照応するのが一般的である。しかし音声でそのような中間食材を表現するときは、『さっき切った野菜』というように、適当な呼称を用いることが多い。そこで、調理観測映像から得た情報と調理者との対話から得た情報により、食材の調理状況を認識することで、調理者が食材を音声で表現した際に用いた呼称を照応表現に自動変換する手法を開発し、学会発表を行った。

研究成果

• [雑誌論文] 情報分野における食メディア研究 (2013)
  • 著者名/発表者名: 山肩洋子
  • 雑誌名: 日本工業出版 画像ラボ 巻: 2013年7月号 ページ: 1-8
• [雑誌論文] 呼称により指示された中間食材を同定するための画像認識モデルおよび呼称解釈法の提案 (2011)
  • 著者名/発表者名: 山肩 洋子, 角所 考, 美濃 導彦
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol. J94-A, No. 7 ページ: 519-531
  • 査読あり
• [雑誌論文] 把持の順序と外見の変化モデルを利用した調理作業における食材追跡 (2011)
  • 著者名/発表者名: 橋本 敦史, 舩冨 卓哉, 中村 和晃, 椋木 雅之, 美濃 導彦
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol. J94-A, No. 7 ページ: 509-518
  • 査読あり
• [学会発表] Flow Graph Corpus from Recipe Texts (2014)
  • 著者名/発表者名: Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, Tetsuro Sasada
  • 学会等名: The International Conference on Language Resources and Evaluation Conference
  • 発表場所: Reykjavik, Iceland
• [学会発表] 誕生・使用事由によるレシピ検索～生い立ちレシピサーチ～ (2014)
  • 著者名/発表者名: 門脇拓也, 山肩洋子, 森 信介, 田中克己
  • 学会等名: 第6回データ工学と情報マネジメントに関するフォーラム(DEIM)
  • 発表場所: 兵庫県, 日本
• [学会発表] Feature Extraction and Summarization of Recipes Using Flow Graph (2013)
  • 著者名/発表者名: Yoko Yamakata, Shinji Imahori, Yuichi Sugiyama, Shinsuke Mori, and Katsumi Tanaka
  • 学会等名: the 5th International Conference on Social Informatics (SocInfo2013)
  • 発表場所: Kyoto, Japan
• [学会発表] レシピテキストのためのフローグラフの定義 (2013)
  • 著者名/発表者名: 森信介, 山肩洋子, 笹田鉄郎, 前田浩邦
  • 学会等名: 情報処理学会 第214回自然言語処理研究会
  • 発表場所: 鹿児島，日本
• [学会発表] レシピフローグラフを介したレシピ集合の要約と特徴抽出 (2013)
  • 著者名/発表者名: 山肩洋子，今堀慎治，杉山祐一，田中克己
  • 学会等名: 電子情報通信学会データ工学研究会
  • 発表場所: 東京，日本
• [学会発表] レシピテキストからのフローグラフコーパス作成, (2013)
  • 著者名/発表者名: 前田浩邦, 山肩洋子, 森 信介
  • 学会等名: 電子情報通信学会データ工学研究会
  • 発表場所: 東京，日本
• [学会発表] 手順情報としてのレシピデータに対する類似レシピの要約と微小で重要な差異の発見 (2013)
  • 著者名/発表者名: 杉山 祐一, 山肩 洋子, 田中 克己
  • 学会等名: 第5回データ工学と情報マネジメントに関するフォーラム
  • 発表場所: 福島
• [学会発表] IwaCamを用いたメディア処理による遠隔コミュニケーションの支援 : 同時調理を題材とした映像と音声の役割に関する考察 (2012)
  • 著者名/発表者名: 山肩 洋子, 橋本 敦史, 舩冨 卓哉, 平松 紘実, 辻 秀典, 森 信介
  • 学会等名: 電子情報通信学会 データ工学研究会
  • 発表場所: 東京
• [学会発表] 料理と食を取り巻く情報メディア技術 (2012)
  • 著者名/発表者名: 山肩 洋子
  • 学会等名: 電子情報通信学会 パターン認識・メディア理解研究会
  • 発表場所: 千葉
  • 招待講演
• [学会発表] A Machine Learning Approach to Recipe Text Processing (2012)
  • 著者名/発表者名: Shinsuke Mori, Tetsuro Sasada, Yoko Yamakata, Koichiro Yoshino
  • 学会等名: Cooking with Computers workshop
  • 発表場所: Montpellier, France
• [学会発表] Recognizing ingredients at cutting process by integrating multimodal features (2012)
  • 著者名/発表者名: Atsushi Hashimoto, Jin Inoue, Kazuaki Nakamura, Takuya Funatomi, Mayumi Ueda, Yoko Yamakata, Michihiko Minoh
  • 学会等名: 4th Workshop on Multimediafor Cooking and Eating Activities : CEA2012
  • 発表場所: Paris, France
• [学会発表] おいしさの構造と客観的評価 (2012)
  • 著者名/発表者名: 山肩 洋子
  • 学会等名: WebDB Forum 2012 企画セッション
  • 発表場所: 東京
• [学会発表] IwaCam: a Multimedia Processing Platform for Supporting Video-Based Cooking Communication (2012)
  • 著者名/発表者名: Hidenori Tsuji, Yoko Yamakata, Takuya Funatomi, Hiromi Hiramatsu, Shinsuke Mori
  • 学会等名: International Conference on Future Generation Communication Technologies
  • 発表場所: London, UK.
• [学会発表] 画像・振動音・荷重データを統合的に用いた食材認識 (2012)
  • 著者名/発表者名: 井上 仁
  • 学会等名: 電子情報通信学会 マルチメディア・仮想環境基礎(MVE)研究会
  • 発表場所: 富山県，富山市
• [学会発表] Cooking Ingredient Recognition Based on the Load on a Chopping Board during Cutting (2011)
  • 著者名/発表者名: Mayumi Ueda
  • 学会等名: 3rd Workshop on Multimedia for Cooking and Eating Activities : CEA2011
  • 発表場所: California, USA
• [学会発表] 鮨屋における調理場観測映像の解析によるサービス支援 (2011)
  • 著者名/発表者名: 山肩 洋子
  • 学会等名: 第2回文化とコンピューティング国際会議共催イベント「食文化に関する学際的探求: 作る,食べる,もてなす」
  • 発表場所: 京都府，京都市
• [備考] レシピ用語認識器
  • URL: http://plata.ar.media.kyoto-u.ac.jp/mori/research/topics/NER/
• [備考] レシピ フロー グラフ コーパス (r-FG corpus)
  • URL: http://plata.ar.media.kyoto-u.ac.jp/mori/research/NLR/FGC/main.html
• [備考] 料理映像コミュニケーション基盤ソフトウェア Iwacam
  • URL: http://iwacam.iit.jp/
• [備考] 電子情報通信学会 食メディア研究会（副委員長）
  • URL: http://www.ccm.media.kyoto-u.ac.jp/CEA/
• [備考] 国際ワークショップCEA2012 (organizing chair)
  • URL: http://www.ccm.media.kyoto-u.ac.jp/CEA2012/
• [備考] 電子情報通信学会ヒューマン・コミュニケーション・グループ 食メディア研究会において副委員長を担当
  • URL: http://www.ccm.media.kyoto-u.ac.jp/CEA/