2021 Fiscal Year Annual Research Report
Spot context collection through multi-modal sensing and mobile federated learning
| Project/Area Number |
21H03431
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
安本 慶一 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (40273396)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
諏訪 博彦 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (70447580)
水本 旭洋 大阪大学, 大学院情報科学研究科, 特任講師(常勤) (80780006)
松田 裕貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (90809708)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ハイレベル場所コンテキスト収集 / マルチモーダルセンシング / モバイル連合学習 / ユーザ参加型センシング / オブジェクト認識 |
|---|
| Outline of Annual Research Achievements |
従来のユーザ参加型センシングは、収集したデータを価値のある情報に変えるためにはサーバ側での蓄積・分析が必要であった（課題1）。また、モデルの学習の ため、ユーザは位置情報や写真などプライバシー情報を含むデータの提供が必要であった（課題2）。一方で、参加型センシングを観光ナビゲーションサービスに 応用するためには、各観光スポットの最新かつ詳細なハイレベルコンテキストの継続的な取得・共有が求められる（課題3）。本研究では、ユーザが日頃から収集 しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト（混雑、風景や人の感情等）をオンデバイスで学習し、認識結果とモデルパラ メタのみを他デバイスと連合学習により共有することでこれらの課題を解決することを目的としている。
目的達成のため、本研究では、WP1: 機能要件の整理と定義、WP2: モバイルマルチモーダルセンシング、WP3: ハイレベルコンテキスト推定、WP4: モバイルフェ デレーションAI、WP5: ソフトウェア基盤、WP6: 実証実験、の6つの研究開発項目 (WP) を設定している。2021年度は、項目WP1－WP5の研究を実施した。
WP1に関して、場所を特徴づける、季節や天気、混雑などが表示される画像内のエリアについて定義した。また、基本6感情に基づく感情指標および観光地における満足度を定義した。WP2、WP3に関して、場所の状況、人の感情を推定するために必要なデータを収集する機構の設計・開発と、観光地にて取得したマルチモーダルデータから、観光客の感情と満足度を推定する手法の開発に着手した。WP4に関しては、場所の状況認識モデルをモバイルデバイスで学習・認識・共有する連合学習機構の開発に着手した。WP5に関しては、上記の機構を統合するソフトウェアの開発を開始した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度に実施予定であった研究項目WP1-WP5のそれぞれについて、計画通りの進捗があった。
|
| Strategy for Future Research Activity |
2022年度は、WP2-WP5の研究項目に取り組み、それぞれの技術開発を進めるとともに、WP6: 実証実験の研究項目に新規に着手する。また、WP6の実験シナリオを具体的に決定するために、小規模の実験を観光地を対象に実施する。
|
