Spot context collection through multi-modal sensing and mobile federated learning
| Project/Area Number |
21H03431
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
安本 慶一 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (40273396)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
諏訪 博彦 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (70447580)
水本 旭洋 大阪大学, 大学院情報科学研究科, 特任講師(常勤) (80780006)
松田 裕貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (90809708)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2023: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
Fiscal Year 2022: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
|
|---|
| Keywords | ハイレベル場所コンテキス収集 / マルチモーダルセンシング / 連合学習 / ユーザ参加型センシング / オブジェクト認識 / ハイレベル場所コンテキスト収集 / モバイル連合学習 / モバイルフェデレーション学習 |
|---|
| Outline of Research at the Start |
本研究では、ユーザがモバイル・ウェラブルデバイスを使って日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト（混雑、風景や人の感情など）をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスとフェデレーションラーニングにより共有することで、プライバシー情報の開示なしに、場所に関連したハイレベルコンテキストを広域から収集可能にする技術を開発する。開発した技術を組み込んだ参加型ハイレベルコンテキスト収集基盤およびアプリケーションを実現し、実証実験を通して有効性を示す。
|
| Outline of Annual Research Achievements |
従来のユーザ参加型センシングは、収集したデータを価値のある情報に変えるためにはサーバ側での蓄積・分析が必要であった（課題1）。また、モデルの学習のため、ユーザは位置情報や写真などプライバシー情報を含むデータの提供が必要であった（課題2）。一方で、参加型センシングを観光ナビゲーションサービスに応用するためには、各観光スポットの最新かつ詳細なハイレベルコンテキストの継続的な取得・共有が求められる（課題3）。本研究では、ユーザが日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト（混雑、風景や人の感情等）をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスと連合学習により共有することでこれらの課題を解決することを目的としている。
目的達成のため、本研究では、WP1: 機能要件の整理と定義、WP2: モバイルマルチモーダルセンシング、WP3: ハイレベルコンテキスト推定、WP4: モバイルフェデレーションAI、WP5: ソフトウェア基盤、WP6: 実証実験、の6つの研究開発項目 (WP) を設定している。2022年度は、項目WP2－WP6の研究を実施した。
WP2、WP3に関して、場所の状況、人の感情を推定するために必要なデータを収集する機構の設計・開発と、観光地にて取得したマルチモーダルデータから、観光客の感情と満足度を推定する手法を開発した。WP4に関しては、場所の状況認識モデルをモバイルデバイスで学習・認識・共有する連合学習機構のプロトタイプを開発した。WP5に関しては、上記の機構を統合するソフトウェアを引き続き開発中である。WP6では、ユースケースシナリオの設計開発と、アプリケーションの実装を行った。また、小規模の実証実験を実施し、提案システムの有効性や改善点などを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度に実施予定であった研究項目WP2-WP6のそれぞれについて、計画通りの進捗があった。
|
| Strategy for Future Research Activity |
2023年度は、引き続きWP2-WP6の研究項目に取り組み、それぞれの技術開発を完了するとともに、観光地で運用可能なシステムとして完成させる。開発したシステムを用いて、実際の観光地での実証実験を実施し、提案研究の有用性を評価する。
|
Report
(2 results)
Research Products
(9 results)
