Spot context collection through multi-modal sensing and mobile federated learning

• Project/Area Number: 21H03431
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60060:Information network-related
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 安本 慶一 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (40273396)
• Co-Investigator(Kenkyū-buntansha): 諏訪 博彦 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (70447580) ; 水本 旭洋 大阪大学, 情報科学研究科, 特任助教(常勤) (80780006) ; 松田 裕貴 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (90809708)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000); Fiscal Year 2023: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000); Fiscal Year 2022: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000); Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
• Keywords: ハイレベル場所コンテキスト収集 / マルチモーダルセンシング / モバイルフェデレーション学習 / ユーザ参加型センシング / オブジェクト認識

Outline of Research at the Start

本研究では、ユーザがモバイル・ウェラブルデバイスを使って日頃から収集しているセンサ値や写真などのデータから場所に関連するハイレベルコンテキスト（混雑、風景や人の感情など）をオンデバイスで学習し、認識結果とモデルパラメタのみを他デバイスとフェデレーションラーニングにより共有することで、プライバシー情報の開示なしに、場所に関連したハイレベルコンテキストを広域から収集可能にする技術を開発する。開発した技術を組み込んだ参加型ハイレベルコンテキスト収集基盤およびアプリケーションを実現し、実証実験を通して有効性を示す。