• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダルセンシングとモバイルフェデレーション学習による場所コンテキスト収集

研究課題

研究課題/領域番号 21H03431
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分60060:情報ネットワーク関連
研究機関奈良先端科学技術大学院大学

研究代表者

安本 慶一  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (40273396)

研究分担者 諏訪 博彦  奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (70447580)
水本 旭洋  大阪大学, 大学院情報科学研究科, 特任講師(常勤) (80780006)
松田 裕貴  奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (90809708)
研究期間 (年度) 2021-04-01 – 2024-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2023年度: 6,630千円 (直接経費: 5,100千円、間接経費: 1,530千円)
2022年度: 6,110千円 (直接経費: 4,700千円、間接経費: 1,410千円)
2021年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
キーワードハイレベル場所コンテキス収集 / マルチモーダルセンシング / 連合学習 / ユーザ参加型センシング / オブジェクト認識 / ハイレベル場所コンテキスト収集 / モバイル連合学習 / モバイルフェデレーション学習
研究開始時の研究の概要

本研究では、ユーザがモバイル・ウェラブルデバイスを使って日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト(混雑、風景や人の感情など)をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスとフェデレーションラーニングにより共有することで、プライバシー情報の開示なしに、場所に関連したハイレベルコンテキストを広域から収集可能にする技術を開発する。開発した技術を組み込んだ参加型ハイレベルコンテキスト収集基盤およびアプリケーションを実現し、実証実験を通して有効性を示す。

研究実績の概要

従来のユーザ参加型センシングは、収集したデータを価値のある情報に変えるためにはサーバ側での蓄積・分析が必要であった(課題1)。また、モデルの学習のため、ユーザは位置情報や写真などプライバシー情報を含むデータの提供が必要であった(課題2)。一方で、参加型センシングを観光ナビゲーションサービスに応用するためには、各観光スポットの最新かつ詳細なハイレベルコンテキストの継続的な取得・共有が求められる(課題3)。本研究では、ユーザが日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト(混雑、風景や人の感情等)をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスと連合学習により共有することでこれらの課題を解決することを目的としている。
目的達成のため、本研究では、WP1: 機能要件の整理と定義、WP2: モバイルマルチモーダルセンシング、WP3: ハイレベルコンテキスト推定、WP4: モバイルフェデレーションAI、WP5: ソフトウェア基盤、WP6: 実証実験、の6つの研究開発項目 (WP) を設定している。2022年度は、項目WP2-WP6の研究を実施した。
WP2、WP3に関して、場所の状況、人の感情を推定するために必要なデータを収集する機構の設計・開発と、観光地にて取得したマルチモーダルデータから、観光客の感情と満足度を推定する手法を開発した。WP4に関しては、場所の状況認識モデルをモバイルデバイスで学習・認識・共有する連合学習機構のプロトタイプを開発した。WP5に関しては、上記の機構を統合するソフトウェアを引き続き開発中である。WP6では、ユースケースシナリオの設計開発と、アプリケーションの実装を行った。また、小規模の実証実験を実施し、提案システムの有効性や改善点などを明らかにした。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

2022年度に実施予定であった研究項目WP2-WP6のそれぞれについて、計画通りの進捗があった。

今後の研究の推進方策

2023年度は、引き続きWP2-WP6の研究項目に取り組み、それぞれの技術開発を完了するとともに、観光地で運用可能なシステムとして完成させる。開発したシステムを用いて、実際の観光地での実証実験を実施し、提案研究の有用性を評価する。

報告書

(2件)
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (9件)

すべて 2023 2022 2021

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (8件) (うち国際学会 4件、 招待講演 1件)

  • [雑誌論文] PATROL: Participatory Activity Tracking and Risk Assessment for Anonymous Elderly Monitoring2022

    • 著者名/発表者名
      Research Dawadi, Teruhiro Mizumoto, Yuki Matsuda, Keiichi Yasumoto
    • 雑誌名

      Sensors

      巻: 22(18) 号: 18 ページ: 6965-6965

    • DOI

      10.3390/s22186965

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] A QoS-Aware 3D Point Cloud Streaming from Real Space for Interaction in Metaverse2023

    • 著者名/発表者名
      Hiroki Ishimaru, Yugo Nakamura , Manato Fujimoto3, Hirohiko Suwa, Keiichi Yasumoto
    • 学会等名
      Cloud2Things 2023: 3rd Workshop on From Cloud to Things: harnessing pervasive data in the Computing Continuum
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Towards Cheaper Tourists' Emotion and Satisfaction Estimation with PCA and Subgroup Analysis2023

    • 著者名/発表者名
      Lucas Maris, Yuki Matsuda, Ramin Sadre, Keiichi Yasumoto
    • 学会等名
      PerAwareCity 2023: 8th International Workshop on Pervasive Context-Aware Smart Cities and Intelligent Transportation Systems
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 観光における次訪問スポット決定支援のためのPoI現況画像の自動生成法と評価2023

    • 著者名/発表者名
      河中昌樹, 中村優吾, 諏訪博彦, 安本慶一
    • 学会等名
      情報処理学会 第194回マルチメディア通信と分散処理研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] PAVEMENT: Passing Vehicle Detection System with Autonomous Incremental Learning using Camera and Vibration Data2022

    • 著者名/発表者名
      Arnan Maipradit, Yumiko Moriyama, Tomoki Okuro, Makoto Yoshida1,2, Nobuya Tachimori, Sinya Akiyama,Hirohiko Suwa, Keiichi Yasumoto
    • 学会等名
      IEEE 96th Vehicular Technology Conference (VTC Fall 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Toward Realizing Smart World by IoT and EdgeAI2022

    • 著者名/発表者名
      Keiichi Yasumoto
    • 学会等名
      IEEE Global Conference on Artificial Intelligence & Internet of Things (2022 IEEE GCAIoT)
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] FedTour: Participatory Federated Learning of Tourism Object Recognition Models with Minimal Parameter Exchanges between User Devices2022

    • 著者名/発表者名
      Shusaku Tomita, Jose Paolo Talusan, Yugo Nakamura, Hirohiko Suwa, Keiichi Yasumoto
    • 学会等名
      The 1st Workshop on Serverless computing for pervasive cloud-edge-device systems and services (StarLESS ’22)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 端末間の近距離通信を使ったFederated Learningによる観光オブジェクト認識モデルの参加型学習法とその評価2021

    • 著者名/発表者名
      冨田 周作, 中村 優吾, 諏訪 博彦, 安本 慶一
    • 学会等名
      第29回マルチメディア通信と分散処理ワークショップ(DPSWS2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 観光オブジェクト認識モデルのユーザ参加型構築手法の提案2021

    • 著者名/発表者名
      冨田 周作, 中村優吾, 諏訪博彦, 安本慶一
    • 学会等名
      マルチメディア、分散、協調とモバイル (DICOMO2021) シンポジウム
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi