• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

深層学習を用いた能動的な新しい食事管理技術の創出

研究課題

研究課題/領域番号 22H00548
研究機関電気通信大学

研究代表者

柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)

研究分担者 井手 一郎  名古屋大学, 情報学研究科, 教授 (10332157)
大河原 一憲  電気通信大学, 大学院情報理工学研究科, 教授 (30631270)
佐藤 光哉  電気通信大学, 人工知能先端研究センター, 助教 (60822533)
研究期間 (年度) 2022-04-01 – 2026-03-31
キーワード食事画像認識 / 食事画像変換 / 食事管理 / 食事レシピ
研究実績の概要

本研究では,深層学習によって高精度に実現可能となった画像認識・生成・変換技術を用いて,新しい能動的な食事管理技術を創出することを目的とする.本研究の特色は,食事中に摂取した総カロリー量をユーザに提示することで食事摂取量の意識付けを可能としたり,目の前の食事の見た目や量を視覚的に変化させることでカロリー量をコントロールしたりするような,能動的な食事管理技術を実現することである.さらに,能動的食事管理として,ユーザの条件を考慮した個人適応型の食事レシピ推薦・生成も合わせて実施する.本研究は,AIの最新技術を人々の「食」の健康に役立てることを最終的な目標とする.
2年目である本年度は次の研究を実施した.(1)3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2)焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3)深層学習による画像変換技術(柳井)(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成(井手,柳井)
(1)に関しては1年目に引き続き3D食事画像データセットの構築作業を行った.(2)については1年目に行った成果として全方位カメラを用いたリアルタイム食事行動認識システムCalorieCam360を完成させた.(3)についてはカロリー量を考慮した食事画像変換の研究を実施した.(4)については,クロスモーダルレシピ検索やレシピ情報からの画像生成などの研究を実施した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2年目である本年度は1年目に引き続き次の研究を実施した.(1)3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2)焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3)深層学習による画像変換技術(柳井)(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成(井手,柳井).
(1)に関しては1年目に引き続き3D食事画像データセットの構築作業を行った.(2)については1年目に行った成果として全方位カメラを用いたリアルタイム食事行動認識システムCalorieCam360を完成させた.(3)についてはカロリー量を考慮した食事画像変換の研究を実施した.(4)については,クロスモーダルレシピ検索やレシピ情報からの画像生成などの研究を実施した.以上より,概ね順調に進展していると言える.

今後の研究の推進方策

残りの2年間では,次の(1)から(4)を更に発展させる予定である.(1)3次元的な量および食材の違いを考慮した食事カロリー量および栄養素量推定(柳井,大河原)(2)焼き肉,鍋,大皿料理のためのリアルタイム食事動作認識による連続摂取カロリー量推定(柳井)(3)深層学習による画像変換技術(柳井)(4)カロリー量や栄養素量を考慮したレシピおよび料理画像の自動生成(井手,柳井).
特に(1)については構築したデータセットを利用した3D食事カロリー量を実施し,構築データセットとともに成果を発表する予定である.(2)については多様な状況で多様な食事に対してリアルタイム食事認識を実現する予定である.(3)については,リアルタイム食事画像変換をARに応用して食事コントロールへ発展させる予定である.(4)これまで実現したレシピからの食事画像生成にカロリー量や栄養素量によるコントロールを追加して,より細かい食事画像生成の制御を可能とすることを検討している.

  • 研究成果

    (20件)

すべて 2024 2023

すべて 雑誌論文 (2件) (うちオープンアクセス 2件、 査読あり 1件) 学会発表 (18件) (うち国際学会 9件、 招待講演 1件)

  • [雑誌論文] Multi-Style Shape Matching GAN for Text Images2024

    • 著者名/発表者名
      YUAN Honghui、YANAI Keiji
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D ページ: 505~514

    • DOI

      10.1587/transinf.2023IHP0010

    • 査読あり / オープンアクセス
  • [雑誌論文] Patent image retrieval using transformer-based deep metric learning2023

    • 著者名/発表者名
      Higuchi Kotaro、Yanai Keiji
    • 雑誌名

      World Patent Information

      巻: 74 ページ: 102217~102217

    • DOI

      10.1016/j.wpi.2023.102217

    • オープンアクセス
  • [学会発表] Training-Free Region Prediction with Stable Diffusion.2024

    • 著者名/発表者名
      Yuma Honbu and Keiji Yanai
    • 学会等名
      Proc. of the International Multimedia Modeling Conference (MMM)
    • 国際学会
  • [学会発表] 生成AI技術の基礎と展望2024

    • 著者名/発表者名
      柳井 啓司
    • 学会等名
      SID日本支部 講演会 「生成AIとメタバースが開く社会に向けたディスプレイ技術と課題」
    • 招待講演
  • [学会発表] タイトル重畳料理サムネイル画像における魅力的なフォントスタイルの分析2024

    • 著者名/発表者名
      高木七海,久徳遙矢,道満恵介,駒水孝裕,井手一郎
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] 複数食材の大きさを統合利用した弁当画像のスケール推定に関する研究2024

    • 著者名/発表者名
      渡辺茉里香,久徳遙矢,道満恵介,駒水孝裕,井手一郎
    • 学会等名
      電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会
  • [学会発表] Contextual Associated Triplet Queries for Panoptic Scene Graph Generation.2023

    • 著者名/発表者名
      Jingbin Xu, Junwen Chen and Keiji Yanai
    • 学会等名
      Proc. of ACM Multimedia Asia
    • 国際学会
  • [学会発表] Mask-based Food Image Synthesis with Cross-Modal Recipe Embeddings.2023

    • 著者名/発表者名
      Zhongtao Chen, Yuma Honbu, Keiji Yanai
    • 学会等名
      Proc. of ACM Multimedia Asia
    • 国際学会
  • [学会発表] VQ-VDM: Video Diffusion Models with 3D VQGAN.2023

    • 著者名/発表者名
      Ryota Kaji, Keiji Yanai
    • 学会等名
      Proc. of ACM Multimedia Asia
    • 国際学会
  • [学会発表] RecipeMeta: Metapath-enhanced recipe recommendation on heterogeneous recipe network2023

    • 著者名/発表者名
      Jialiang Shi, Takahiro Komamizu, Keisuke Doman, Haruya Kyutoku, Ichiro Ide
    • 学会等名
      ACM Multimedia Asia 2023
    • 国際学会
  • [学会発表] HowToEat: Exploring Human Object Interaction and Eating Action in Eating Scenarios.2023

    • 著者名/発表者名
      Yingcheng Wang, Junwen Chen, Keiji Yanai
    • 学会等名
      ACM MM Workshop on Multimedia Assisted Dietary Management
    • 国際学会
  • [学会発表] Focusing on what to decode and what to train: Efficient Training with HOI Split Decoders and Specific Target Guided DeNoising.2023

    • 著者名/発表者名
      Junwen Chen, Yingcheng Wang, Keiji Yanai
    • 学会等名
      arXiv
    • 国際学会
  • [学会発表] QAHOI: Query-Based Anchors for Human-Object Interaction Detection.2023

    • 著者名/発表者名
      Junwen Chen, Keiji Yanai
    • 学会等名
      Proc. of the International Workshop on Machine Vision and Applications (MVA)
    • 国際学会
  • [学会発表] CalorieCam360: Simultaneous Eating Action Recognition of Multiple People Using an Omnidirectional Camera.2023

    • 著者名/発表者名
      Kento Terauchi, Keiji Yanai
    • 学会等名
      Proc. of ACM International Conference on Multimedia Retrieval (ICMR)
    • 国際学会
  • [学会発表] StableSeg: Stable Diffusionによるゼロショット領域分割2023

    • 著者名/発表者名
      本部 勇真, 山口 廉斗, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム (MIRU)
  • [学会発表] 人物・物体・動作デコーダの分離によるHOI検出2023

    • 著者名/発表者名
      陳 俊文, 王 瀛成, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム (MIRU)
  • [学会発表] VQ-VDM: ベクトル量子化変分オートエンコーダと 拡散モデルを用いた動画生成モデル2023

    • 著者名/発表者名
      梶 凌太, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム (MIRU)
  • [学会発表] CalorieCam360: 全方位カメラによる複数人同時食事カロリー量推定システム2023

    • 著者名/発表者名
      寺内 健人, 山本 耕平, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム (MIRU)
  • [学会発表] CLIPと微分可能レンダラーを用いたフォントスタイル変換2023

    • 著者名/発表者名
      泉 幸太, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム (MIRU)
  • [学会発表] Unified transformer with fine-grained contrastive learning for cross-modal recipe retrieval2023

    • 著者名/発表者名
      Bolin Zhang, Haruya Kyutoku, Keisuke Doman, Takahiro Komamizu, Chao Yang, Bin Jiang, Ichiro Ide
    • 学会等名
      画像の認識・理解シンポジウム (MIRU)

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi