信号源クラスタリングと行動認識技術の統合による行動履歴の推定

• Project/Area Number: 23K11075
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60060:Information network-related
• Research Institution: Kanagawa Institute of Technology
• Principal Investigator: 川喜田 佑介 神奈川工科大学, 情報学部, 准教授 (30468540)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
• Keywords: 行動認識 / マルチモーダルセンシング / IoT / クラスタリング / マルチモーダル

Outline of Research at the Start

本研究では、信号源クラスタリングと行動認識技術の統合によって、「誰が誰とどこで何をしたか」という行動履歴を推定することを研究課題とする。具体的には、加速度、無線情報、カメラ画像、マイク音声などの多様な入力を用いたマルチモーダルセンシングによる行動認識と信号源クラスタリングなどによる効率的な行動履歴の統合方法を開発し、システム開発を通じて研究構想の実現性を実証する。

Outline of Annual Research Achievements

我々は、日々、スマートフォンやカメラデバイスによってセンシングされ、行動を認識されている。これらの行動認識は、個人ごとに、個々の応用で個別に使用されていること多い。本研究では、これらの行動認識を統合することで「誰が誰とどこで何をしたか」を推定することは可能かという問いに取り組んだ。
本研究は、マルチモーダルセンシングによる行動認識、プライバシを考慮した安全な行動認識、統合技術のステップを踏むこととした。マルチモーダルセンシングによる行動認識の一つのモダリティである無線情報による行動認識については、WiFiのチャネル情報（Channel State Information: CSI）を特徴量の候補として単独で研究を進め24年度以降にマルチモーダルセンシングに着手することとした。今年度は、これまでに研究開発したBLEビーコンなどの移動する信号源を対象に受信電力強度(Received Signal Strength Indicator: RSSI)などの時系列データをクラスタリングすることで、測距・測位不要で信号源同士の近接性を推定する技術をさらに発展させ、信号源のクラスタリングを行う技術の開発を行った。また、信号源クラスタリングと行動認識技術の統合による行動履歴の推定のため、マルチモーダルセンシングのための行動認識モデルの構築を進めた。さらに、取得したWiFi CSIをそのまま使用するだけでなく、主成分分析による次元圧縮の機能を実装し、特徴量の取得から評価までの一貫したシステム実装の見通しを得た。大学キャンパス内でのデータ取得と実験的な評価を行い、観察者の居室を判別するタスクにおける基礎的な評価を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

WiFi CSIの取得方法は、信号を発信する機器と受信する機器の双方を空間に設置するアクティブモードと既設の無線LANアクセスポイントを利用して受信する機器のみを設置するパッシブモードに大別される。アクティブモードでは高度な行動認識が実現されているが、事前に機器を設置するなど実用上の課題が残る。一方、パッシブモードでは、まだ十分な行動認識ができていない。本研究ではパッシブモードを対象としいる。特徴量の取得から評価までの一貫したシステム実装については見通しを得たが、参考になる研究事例が少ないため想定するタスクでの推定精度が十分ではない。したがってやや遅れているとした。

Strategy for Future Research Activity

本研究では、加速度、無線情報、カメラ画像、マイク音声などの多様な入力を用いたマルチモーダルセンシングによる行動認識を実現する。WiFi CSIの行動認識については、パッシブモードにおける推定精度の向上と並行して運用コストが低いアクティブモードについて検討する。さらに、マルチモーダルセンシングの初期的な検討として他のモダリティを追加した行動認識に取り組む。