• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

モバイル深層学習技術を活用した動物ロギングのためのリアルタイム行動認識

公募研究

研究領域生物ナビゲーションのシステム科学
研究課題/領域番号 19H04929
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関電気通信大学

研究代表者

柳井 啓司  電気通信大学, 大学院情報理工学研究科, 教授 (20301179)

研究期間 (年度) 2019-04-01 – 2021-03-31
研究課題ステータス 採択後辞退 (2020年度)
配分額 *注記
7,150千円 (直接経費: 5,500千円、間接経費: 1,650千円)
2020年度: 3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2019年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
キーワード深層学習 / モバイル深層学習 / 小型デバイス / 生物ロギング / 動物一人称映像
研究開始時の研究の概要

本研究では,生物ロギングデバイスのような低コスト小型デバイス上で,主に映像を用いて動物の行動をリアルタイムに認識することを目的として,(1) 動物一人称映像の認識の研究,(2)タスクとデバイスに適応した小型深層学習ネットワークの探索,(3)センサ情報と画像認識を併用したリアルタイム行動認識の実現,(4)これらの手法を統合的に用いたロギングデバイス上での実装,の4点について研究を行います.これらの研究は,いずれも生物ナビゲーションおよびそのためのロギングデバイスに必要な新しい技術であり,低消費電力低メモリ下での深層学習ネットワークによる動物の行動認識という新しいトピックが創造できます.

研究実績の概要

本研究では,小型デバイス上での深層学習によるリアルタイム生物行動認識の実現のために,(1)動物一人称映像の認識の研究,(2)タスクとデバイスに適応した小型ネットワークの探索,(3)センサ情報と画像認識を併用したリアルタイム行動認識の実現, (4) (1)~(3)の手法を統合的に用いた小型IoT デバイス上での実装,を実施する.
特に2019年度は1年目は基礎的研究として(1) 動物一人称映像の認識の研究,(2)タスクとデバイスに適応した小型ネットワークの探索を行った.これらは独立して研究できるので,並行して実施した.
(1)では,レスキュー犬の一人称映像に対して,映像,音声に加えて,レスキュー犬が着用しているサイバースーツに搭載されている各種センサーの情報も統合して,動作認識を行う手法について研究を行った.静止画の情報,映像の動き,音声,センサーの4つの情報を統合し,従来を上回る認識精度を達成した.
(2)では,ネットワーク圧縮技術であるpruningによってネットワークパラメータを減らす実験,自動的に最適なネットワーク構成を探索する技術であるNeural Architecture Search(NAS)技術によって最適なネットワークを探索する実験を実施した.また,複数タスクを同時に1つのネットワークで学習するマルチドメイン学習に関する基礎的な研究,またIoTデバイス上で,実行のみならず簡単な学習を行うことによって,環境変化に応じて動的にネットワークを更新する実験も実施した.

現在までの達成度 (段落)

翌年度、交付申請を辞退するため、記入しない。

今後の研究の推進方策

翌年度、交付申請を辞退するため、記入しない。

報告書

(1件)
  • 2019 実績報告書
  • 研究成果

    (30件)

すべて 2020 2019

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (27件) (うち国際学会 12件、 招待講演 1件)

  • [雑誌論文] Simultaneous Estimation of Dish Locations and Calories with Multi-Task Learning2019

    • 著者名/発表者名
      Takumi Ege and Keiji Yanai
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 7 ページ: 1240-1246

    • DOI

      10.1587/transinf.2018CEP0004

    • NAID

      130007671316

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-07-01
    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Webly-Supervised Food Detection with Foodness Proposal2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D 号: 7 ページ: 1230-1239

    • DOI

      10.1587/transinf.2018CEP0001

    • NAID

      130007671323

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2019-07-01
    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Weakly Supervised Semantic Segmentation Using Distinct Class Specific Saliency Maps2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 雑誌名

      Computer Vision and Image Understanding

      巻: - ページ: 102712-102712

    • DOI

      10.1016/j.cviu.2018.08.006

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [学会発表] CalorieCaptorGlass: Food Calorie Estimation based on Actual Size using HoloLens and Deep Learning2020

    • 著者名/発表者名
      Shu Naritomi and Keiji Yanai
    • 学会等名
      Proc. of IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR) (demo)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 映像・音・センサー情報の統合によるレスキュー犬の1人称行動認識2020

    • 著者名/発表者名
      井出佑汰, 荒木勇人, 濱田龍之介, 大野和則, 柳井啓司
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会(PRMU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 意味と形状の分離によるマルチモーダルレシピ検索及び画像生成2020

    • 著者名/発表者名
      杉山 優, 柳井啓司
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会(PRMU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ラーメンスタイルエンコーダーを用いたスタイル特徴とマスク画像からの画像生成2020

    • 著者名/発表者名
      趙 宰, 下田 和, 柳井啓司
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会(PRMU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Dog-Centric Activity Recognition by Integrating Appearance, Motion and Sound2019

    • 著者名/発表者名
      Tsuyohito Araki, Ryunosuke Hamada, Kazunori Ohno, and Keiji Yanai
    • 学会等名
      ICCV Workshop on Egocentric Perception Interaction and Computing (EPIC)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Self-supervised Difference Detection for Refinement CRF and Seed Interpolation2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 学会等名
      CVPR WS on Weakly Supervised Learning for Real-World Computer Vision Applications
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Analyzing Regional Food Trends with Geo-tagged Twitter Food Photos2019

    • 著者名/発表者名
      Kaimu Okamoto and Keiji Yanai
    • 学会等名
      Proc. of International Conference on Content-Based Multimedia Indexing (CBMI)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Large-scale Twitter Food Photo Mining and Its Applications2019

    • 著者名/発表者名
      Keiji Yanai, Kaimu Okamoto, Tetsuya Nagano and Daichi Horita
    • 学会等名
      International Conference on Multimedia Big Data (BIGMM)
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] DepthCalorieCam: A Mobile Application for Volume-Based Food Calorie Estimation using Depth Cameras2019

    • 著者名/発表者名
      Yoshikazu Ando, Takumi Ege, Jaehyeong Cho, Keiji Yanai
    • 学会等名
      ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] A New Large-scale Food Image Segmentation Dataset and Its Application to Food Calorie Estimation Based on Grains of Rice2019

    • 著者名/発表者名
      Takumi Ege, Wataru Shimoda, Keiji Yanai
    • 学会等名
      ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Unseen Food Creation by Mixing Existing Food Images with Conditional StyleGAN2019

    • 著者名/発表者名
      Daichi Horita, Wataru Shimoda, Keiji Yanai
    • 学会等名
      ACMMM Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Zero-Annotation Plate Segmentation Using a Food Category Classifier and a Food/Non-Food Classifier2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 学会等名
      ICCV Workshop on Multi-Discipline Approach for Learning Concepts (MDALC)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Self-supervised Difference Detection for Weakly-supervised Semantic Segmentation2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 学会等名
      IEEE/CVF International Conference on Computer Vision (ICCV)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Continual Learning of An Image Transformation Network Using Task-dependent Weight Selection Masks2019

    • 著者名/発表者名
      Asato Matsumoto and Keiji Yanai
    • 学会等名
      Asian Conference on Pattern Recognition (ACPR)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] SSA-GAN: End-to-End Time-Lapse Generation with Spatial Self-Attention2019

    • 著者名/発表者名
      Daichi Horita and Keiji Yana
    • 学会等名
      Asian Conference on Pattern Recognition (ACPR)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 自己教師あり学習による変化領域の推論を活用した弱教師あり領域分割2019

    • 著者名/発表者名
      下田 和, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 米飯を基準としたCNNによる食事画像からのカロリー量推定2019

    • 著者名/発表者名
      會下 拓実, Jaehyeong Cho, 松平 礼史, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] レスキュー犬の一人称動画を用いた動作推定2019

    • 著者名/発表者名
      荒木 勇人, 井出 佑汰, 濱田 龍之介, 大野 和則, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] DepthCalorieCam: 深度カメラと深層学習による自動食事カロリー量推定システム2019

    • 著者名/発表者名
      安蒜 祥和, 會下 拓実, 岡本 開夢, 泉 裕貴, Jaehyeong Cho, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 大量のTwitter位置情報付き画像を用いた世界各地域における食事傾向分析2019

    • 著者名/発表者名
      岡本 開夢, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Identityと化粧Styleの分離による顔画像変換2019

    • 著者名/発表者名
      五味 京祐, 越野 誠也, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 重み選択マスクを用いた画像変換ネットワークの連続学習2019

    • 著者名/発表者名
      松本 晨人, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] SSA-GAN: Cloud Video Generation from a Single Image with Spatial Self-Attention Generative Adversarial Networks2019

    • 著者名/発表者名
      Daichi Horita, Keiji Yanai
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ウミネコ動画の自動分析2019

    • 著者名/発表者名
      井出 佑汰, 水谷 友一, 依田 憲, 柳井 啓司
    • 学会等名
      電子情報通信学会 食メディア研究会 (CEA)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] ONNX2MPSNNGraph: モバイル深層学習コードジェネレータの実装と評価2019

    • 著者名/発表者名
      泉 裕貴, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 皿領域の推論を活用した食事の弱教師あり領域分割2019

    • 著者名/発表者名
      下田和, 柳井啓司
    • 学会等名
      電子情報通信学会 食メディア研究会 (CEA)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 食事画像領域分割データセットの作成とその活用2019

    • 著者名/発表者名
      岡本開夢, Cho Jaehyeong, 會下拓実, 柳井啓司
    • 学会等名
      電子情報通信学会 食メディア研究会 (CEA)
    • 関連する報告書
      2019 実績報告書

URL: 

公開日: 2019-04-18   更新日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi