• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Spot context collection through multi-modal sensing and mobile federated learning

Research Project

Project/Area Number 21H03431
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 60060:Information network-related
Research InstitutionNara Institute of Science and Technology

Principal Investigator

安本 慶一  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (40273396)

Co-Investigator(Kenkyū-buntansha) 諏訪 博彦  奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (70447580)
水本 旭洋  大阪大学, 大学院情報科学研究科, 特任講師(常勤) (80780006)
松田 裕貴  奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (90809708)
Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2023: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
Fiscal Year 2022: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Keywordsハイレベル場所コンテキス収集 / マルチモーダルセンシング / 連合学習 / ユーザ参加型センシング / オブジェクト認識 / ハイレベル場所コンテキスト収集 / モバイル連合学習 / モバイルフェデレーション学習
Outline of Research at the Start

本研究では、ユーザがモバイル・ウェラブルデバイスを使って日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト(混雑、風景や人の感情など)をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスとフェデレーションラーニングにより共有することで、プライバシー情報の開示なしに、場所に関連したハイレベルコンテキストを広域から収集可能にする技術を開発する。開発した技術を組み込んだ参加型ハイレベルコンテキスト収集基盤およびアプリケーションを実現し、実証実験を通して有効性を示す。

Outline of Annual Research Achievements

従来のユーザ参加型センシングは、収集したデータを価値のある情報に変えるためにはサーバ側での蓄積・分析が必要であった(課題1)。また、モデルの学習のため、ユーザは位置情報や写真などプライバシー情報を含むデータの提供が必要であった(課題2)。一方で、参加型センシングを観光ナビゲーションサービスに応用するためには、各観光スポットの最新かつ詳細なハイレベルコンテキストの継続的な取得・共有が求められる(課題3)。本研究では、ユーザが日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト(混雑、風景や人の感情等)をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスと連合学習により共有することでこれらの課題を解決することを目的としている。
目的達成のため、本研究では、WP1: 機能要件の整理と定義、WP2: モバイルマルチモーダルセンシング、WP3: ハイレベルコンテキスト推定、WP4: モバイルフェデレーションAI、WP5: ソフトウェア基盤、WP6: 実証実験、の6つの研究開発項目 (WP) を設定している。2022年度は、項目WP2-WP6の研究を実施した。
WP2、WP3に関して、場所の状況、人の感情を推定するために必要なデータを収集する機構の設計・開発と、観光地にて取得したマルチモーダルデータから、観光客の感情と満足度を推定する手法を開発した。WP4に関しては、場所の状況認識モデルをモバイルデバイスで学習・認識・共有する連合学習機構のプロトタイプを開発した。WP5に関しては、上記の機構を統合するソフトウェアを引き続き開発中である。WP6では、ユースケースシナリオの設計開発と、アプリケーションの実装を行った。また、小規模の実証実験を実施し、提案システムの有効性や改善点などを明らかにした。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2022年度に実施予定であった研究項目WP2-WP6のそれぞれについて、計画通りの進捗があった。

Strategy for Future Research Activity

2023年度は、引き続きWP2-WP6の研究項目に取り組み、それぞれの技術開発を完了するとともに、観光地で運用可能なシステムとして完成させる。開発したシステムを用いて、実際の観光地での実証実験を実施し、提案研究の有用性を評価する。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (9 results)

All 2023 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (8 results) (of which Int'l Joint Research: 4 results,  Invited: 1 results)

  • [Journal Article] PATROL: Participatory Activity Tracking and Risk Assessment for Anonymous Elderly Monitoring2022

    • Author(s)
      Research Dawadi, Teruhiro Mizumoto, Yuki Matsuda, Keiichi Yasumoto
    • Journal Title

      Sensors

      Volume: 22(18) Issue: 18 Pages: 6965-6965

    • DOI

      10.3390/s22186965

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] A QoS-Aware 3D Point Cloud Streaming from Real Space for Interaction in Metaverse2023

    • Author(s)
      Hiroki Ishimaru, Yugo Nakamura , Manato Fujimoto3, Hirohiko Suwa, Keiichi Yasumoto
    • Organizer
      Cloud2Things 2023: 3rd Workshop on From Cloud to Things: harnessing pervasive data in the Computing Continuum
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Towards Cheaper Tourists' Emotion and Satisfaction Estimation with PCA and Subgroup Analysis2023

    • Author(s)
      Lucas Maris, Yuki Matsuda, Ramin Sadre, Keiichi Yasumoto
    • Organizer
      PerAwareCity 2023: 8th International Workshop on Pervasive Context-Aware Smart Cities and Intelligent Transportation Systems
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 観光における次訪問スポット決定支援のためのPoI現況画像の自動生成法と評価2023

    • Author(s)
      河中昌樹, 中村優吾, 諏訪博彦, 安本慶一
    • Organizer
      情報処理学会 第194回マルチメディア通信と分散処理研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] PAVEMENT: Passing Vehicle Detection System with Autonomous Incremental Learning using Camera and Vibration Data2022

    • Author(s)
      Arnan Maipradit, Yumiko Moriyama, Tomoki Okuro, Makoto Yoshida1,2, Nobuya Tachimori, Sinya Akiyama,Hirohiko Suwa, Keiichi Yasumoto
    • Organizer
      IEEE 96th Vehicular Technology Conference (VTC Fall 2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Toward Realizing Smart World by IoT and EdgeAI2022

    • Author(s)
      Keiichi Yasumoto
    • Organizer
      IEEE Global Conference on Artificial Intelligence & Internet of Things (2022 IEEE GCAIoT)
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] FedTour: Participatory Federated Learning of Tourism Object Recognition Models with Minimal Parameter Exchanges between User Devices2022

    • Author(s)
      Shusaku Tomita, Jose Paolo Talusan, Yugo Nakamura, Hirohiko Suwa, Keiichi Yasumoto
    • Organizer
      The 1st Workshop on Serverless computing for pervasive cloud-edge-device systems and services (StarLESS ’22)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 端末間の近距離通信を使ったFederated Learningによる観光オブジェクト認識モデルの参加型学習法とその評価2021

    • Author(s)
      冨田 周作, 中村 優吾, 諏訪 博彦, 安本 慶一
    • Organizer
      第29回マルチメディア通信と分散処理ワークショップ(DPSWS2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 観光オブジェクト認識モデルのユーザ参加型構築手法の提案2021

    • Author(s)
      冨田 周作, 中村優吾, 諏訪博彦, 安本慶一
    • Organizer
      マルチメディア、分散、協調とモバイル (DICOMO2021) シンポジウム
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-04-28   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi