• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

低消費電力リアルタイム画像認識実現のためのモバイル深層学習技術

公募研究

研究領域生物ナビゲーションのシステム科学
研究課題/領域番号 17H05972
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関電気通信大学

研究代表者

柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)

研究期間 (年度) 2017-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
6,760千円 (直接経費: 5,200千円、間接経費: 1,560千円)
2018年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
2017年度: 3,380千円 (直接経費: 2,600千円、間接経費: 780千円)
キーワード深層学習 / 動物ロギング / 小型デバイス / モバイル実装 / モバイルアプリ / 画像認識 / モバイルデバイス
研究実績の概要

本研究では,生物ロギングデバイスのような低コスト小型デバイス上で,ソフトウェアのみで深層畳み込みネットワーク(Deep Convolutional Neural Network, DCNN)を効率的に利用可能とするために,高速化,省メモリ化,高精度化,低消費電力化の観点から研究を行う.DCNNによる高性画像認識が生物ナビゲーションの分析のための小型ロギングデバイス上で利用可能となるならば,カメラからの映像をリアルタイムで認識しながら必要な情報だけ不揮発性メモリに記録,もしくは電波で送信することが可能となる.また,これらとは別に,画像/映像認識技術を応用して,動物行動学研究者と連携して,動物映像の認識を行い,動物行動分析に役立つ結果を得ることも目的とする.
本年度は,昨年度までに研究成果を統合的に用いた実アプリケーションの構築を容易化するモバイルコード生成ツールの実装を実施することを目標とした.また,ウミネコ映像と,レスキュー犬の一人称映像から,それぞれの動物の行動を認識することも行う.
実際には,iPhoneアプリ開発用のC言語コート生成ツールのChainer2MPSCNNGraph として実現し,実際にリアルタイムで食事変換を行うアプリケーションの開発に利用した.それにより省メモリな深層学習アプリケーションの実装が可能となった.
また,ウミネコ映像に対し,ウミネコの検出とトラッキングを行い,自動的にウミネコが巣に戻った記録を付けることを可能とする技術を開発した.さらに,レスキュー犬の一人称映像と音声を融合して,レスキュー犬の行動を認識するための深層学習ネットワークを提案して,一定の認識精度を実現した.

現在までの達成度 (段落)

平成30年度が最終年度であるため、記入しない。

今後の研究の推進方策

平成30年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2018 実績報告書
  • 2017 実績報告書
  • 研究成果

    (48件)

すべて 2019 2018 2017

すべて 雑誌論文 (7件) (うち査読あり 7件、 オープンアクセス 2件) 学会発表 (41件) (うち国際学会 24件)

  • [雑誌論文] Simultaneous Estimation of Dish Locations and Calories with Multi-Task Learning2019

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 7 ページ: 1240-1246

    • DOI

      10.1587/transinf.2018CEP0004

    • NAID

      130007671316

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-07-01
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Webly-Supervised Food Detection with Foodness Proposal2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 7 ページ: 1230-1239

    • DOI

      10.1587/transinf.2018CEP0001

    • NAID

      130007671323

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-07-01
    • 関連する報告書
      2018 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Weakly Supervised Semantic Segmentation Using Distinct Class Specific Saliency Maps2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 雑誌名

      Computer Vision and Image Understanding

      巻: - ページ: 102712-102712

    • DOI

      10.1016/j.cviu.2018.08.006

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] CNN特徴量学習に基づく画像検索による食事画像カロリー量推定2018

    • 著者名/発表者名
      會下拓実, 下田和, 柳井啓司
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J101-D 号: 8 ページ: 1099-1109

    • DOI

      10.14923/transinfj.2017IUP0009

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2018-08-01
    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Image-Based Food Calorie Estimation Using Recipe Information2018

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E101.D 号: 5 ページ: 1333-1341

    • DOI

      10.1587/transinf.2017MVP0027

    • NAID

      130006729787

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2018-05-01
    • 関連する報告書
      2018 実績報告書 2017 実績報告書
    • 査読あり
  • [雑誌論文] CNN 特徴量学習に基づく画像検索による食事画像カロリー量推定2018

    • 著者名/発表者名
      會下拓実,柳井啓司
    • 雑誌名

      電子情報通信学会論文誌 D

      巻: 8

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [雑誌論文] Neural Style Vectorを用いた絵画画像のスタイル検索2017

    • 著者名/発表者名
      松尾真, 柳井啓司
    • 雑誌名

      電子情報通信学会論文誌 D

      巻: 8 ページ: 742-749

    • 関連する報告書
      2017 実績報告書
    • 査読あり
  • [学会発表] A Large-scale Analysis of Regional Tendency of Twitter Photos Using Only Image Features2019

    • 著者名/発表者名
      Tetsuya Nagano, Takumi Ege, Wataru Shimoda and Keiji Yanai
    • 学会等名
      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Image-Based Estimation of Real Food Size for Accurate Food Calorie Estimation2019

    • 著者名/発表者名
      Takumi Ege, Yoshikazu Ando, Ryosuke Tanno, Wataru Shimoda and Keiji Yanai
    • 学会等名
      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 米飯画像の実寸推定に基づく面積を考慮したカロリー量推定2019

    • 著者名/発表者名
      會下 拓実,柳井 啓司
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 深度付き画像と深層学習による食事カロリー量推定システムの開発2019

    • 著者名/発表者名
      安蒜 祥和,會下 拓実,柳井 啓司
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 画像変換ネットワークによる連続学習2019

    • 著者名/発表者名
      松本 晨人,柳井 啓司
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 位置情報付きTwitter画像を用いた世界の食事傾向分析2019

    • 著者名/発表者名
      岡本 開夢,柳井 啓司
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Conditional GANによる化粧顔画像変換2019

    • 著者名/発表者名
      五味 京祐,柳井 啓司
    • 学会等名
      データ工学と情報マネジメントに関するフォーラム (DEIM)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 変化領域の推測による弱教師あり領域分割の精度向上2019

    • 著者名/発表者名
      下田 和, 柳井 啓司
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会(PRMU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 深層学習による太陽画像からの太陽黒点数の推定2019

    • 著者名/発表者名
      樋口陽光, 會下拓実, 柳井啓司
    • 学会等名
      電子情報通信学会 総合大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Multi-task Learning of Dish Detection and Calorie Estimation2018

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 学会等名
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Food Category Transfer with Conditional Cycle GAN and a Large-scale Food Image Dataset2018

    • 著者名/発表者名
      Daichi Horita, Ryosuke Tanno, Wataru Shimoda, Keiji Yanai
    • 学会等名
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Food Image Generation using A Large Amount of Food Images with Conditional GAN: RamenGAN and RecipeGAN2018

    • 著者名/発表者名
      Yoshifumi Ito, Wataru Shimoda and Keiji Yanai
    • 学会等名
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Magical Rice Bowl: Real-time Food Category Changer2018

    • 著者名/発表者名
      Ryosuke Tanno, Daichi Horita, Wataru Shimoda and Keiji Yanai
    • 学会等名
      ACM Multimedia, Demo Paper
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] AR DeepCalorieCam V2: Food Calorie Estimation with CNN and AR-based Actual Size Estimation2018

    • 著者名/発表者名
      Ryosuke Tanno, Takumi Ege, Keiji Yanai
    • 学会等名
      ACM Symposium on Virtual Reality Software and Technology (VRST)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] CNN-based Photo Transformation for Improving Attractiveness of Ramen Photos2018

    • 著者名/発表者名
      Daichi Horita, Jaehyeong Cho, Takumi Ege, Keiji Yanai
    • 学会等名
      ACM Symposium on Virtual Reality Software and Technology (VRST)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Word-Conditioned Image Style Transfer2018

    • 著者名/発表者名
      Yu Sugiyama and Keiji Yanai
    • 学会等名
      Proc. of ACCV Workshop on AI Aesthetics in Art and Media (AIAM)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Font Style Transfer Using Neural Style Transfer and Unsupervised Cross-domain Transfer2018

    • 著者名/発表者名
      Atsushi Narusawa, Wataru Shimoda, and Keiji Yanai
    • 学会等名
      Proc. of ACCV Workshop on AI Aesthetics in Art and Media
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Real-Time Image Classification and Transformation Apps on iOS by "Chainer2MPSNNGraph"2018

    • 著者名/発表者名
      Yuki Izumi, Daichi Horita, Ryosuke Tanno and Keiji Yanai
    • 学会等名
      Proc. of NIPS WS on Machine Learning on the Phone and other Consumer Devices (MLPCD)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Continual Learning for an Encoder-Decoder CNN Using "Piggyback"2018

    • 著者名/発表者名
      Asato Matsumoto and Keiji Yanai
    • 学会等名
      Proc. of NIPS Continual Learning Workshop
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] CNN-based Food Transformation on HoloLens2018

    • 著者名/発表者名
      Shu Naritmo, Ryosuke Tanno, Takumi Ege, and Keiji Yanai
    • 学会等名
      Proc. of International Workshop on Interface and Experience Design with AI for VR/AR (DAIVAR)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 深層学習による質感文字生成2018

    • 著者名/発表者名
      成沢 淳史, 下田 和, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 画像内容を考慮した質感表現に基づく画像変換2018

    • 著者名/発表者名
      杉山 優, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 大量のTwitter画像を用いたConditional Cycle GANによる食事写真カテゴリ変換2018

    • 著者名/発表者名
      堀田 大地, 成冨 志優, 丹野 良介, 下田 和, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 教師情報に含まれるノイズに堅牢な弱教師あり領域分割手法2018

    • 著者名/発表者名
      下田 和, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] CNNによる料理検出とカロリー量推定のマルチタスク学習2018

    • 著者名/発表者名
      會下 拓実, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 単語情報を利用した画像の質感転送2018

    • 著者名/発表者名
      杉山 優, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Chainer2MPSGraph: 高速深層学習 モバイルアプリ作成のためのモデルコンバータ2018

    • 著者名/発表者名
      泉 裕貴, 堀田 大地, 丹野 良介, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 画像マイニングを用いた Conditional Cycle GAN による食事画像変換2018

    • 著者名/発表者名
      堀田 大地, 丹野 良介, 下田 和, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] CNNを用いた質感文字生成2018

    • 著者名/発表者名
      成沢淳史, 下田和, 柳井啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] AR 技術とモバイル深層学習を活用した 食事カロリー量推定2018

    • 著者名/発表者名
      丹野良介, 會下拓実, Jaehyeong Cho, 柳井啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] AR DeepCalorieCam: An iOS App for Food Calorie Estimation with Augmented Reality2018

    • 著者名/発表者名
      Ryosuke Tanno and Keiji Yanai
    • 学会等名
      the International Multimedia Modeling Conference (MMM)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Predicting Segmentation Easiness from the Consistency for Weakly-Supervised Segmentation2017

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 学会等名
      Asian Conference on Pattern Recognition (ACPR)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Estimating Food Calories for Multiple-dish Food Photos2017

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 学会等名
      Asian Conference on Pattern Recognition (ACPR)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Image-Based Food Calorie Estimation Using Knowledge on Food Categories, Ingredients and Cooking Directions2017

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 学会等名
      ACM Multimedia Thematic Workshops on Understanding
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Comparison of Two Approaches for Direct Food Calorie Estimation2017

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 学会等名
      International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Partial Style Transfer Using Weakly-Supervised Semantic Segmentation2017

    • 著者名/発表者名
      Shin Matsuo, Wataru Shimoda and Keiji Yanai
    • 学会等名
      ICME Workshop on Multimedia Artworks Analysis (MMArt)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Conditional Fast Style Transfer Network2017

    • 著者名/発表者名
      Keiji Yanai and Ryosuke Tanno
    • 学会等名
      ACM International Conference on Multimedia Retrieval (ICMR)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Simultaneous Estimation of Food Categories and Calories with Multi-task CNN2017

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 学会等名
      IAPR International Conference on Machine Vision Applications (MVA)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Unseen Style Transfer Based on a Conditional Fast Style Transfer Network, Proc. International Conference on Learning Representation Workshop Track (ICLR WS)2017

    • 著者名/発表者名
      Keiji Yanai
    • 学会等名
      2017
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Twitter Photo Geo-Localization Using Both Textual and Visual Features2017

    • 著者名/発表者名
      Shin Matsuo, Wataru Shimoda and Keiji Yanai
    • 学会等名
      International Conference on Multimedia Big Data (BIGMM)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Learning Food Image Similarity for Food Image Retrieval2017

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 学会等名
      International Conference on Multimedia Big Data (BIGMM)
    • 関連する報告書
      2017 実績報告書
    • 国際学会

URL: 

公開日: 2017-04-28   更新日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi