• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

多様な環境に適用可能なコンピュータビジョンと無線通信のクロスモーダルセンシング

Research Project

Project/Area Number 23K24831
Project/Area Number (Other) 22H03575 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 60060:Information network-related
Research InstitutionInstitute of Science Tokyo

Principal Investigator

西尾 理志  東京工業大学, 工学院, 准教授 (80711522)

Co-Investigator(Kenkyū-buntansha) 山本 高至  京都工芸繊維大学, 情報工学・人間科学系, 教授 (30423015)
米谷 竜  株式会社サイバーエージェント(AI事業本部 AI Lab), AItech Studio AI Lab, リサーチサイエンティスト (40733481)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2025: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
KeywordsVision and Wireless / 無線センシング / Computer Vision / WiFiセンシング / マルチモーダルセンシング / 機械学習 / 無線環境センシング / コンピュータビジョン / 無線通信 / CSIセンシング / 無線イメージング
Outline of Research at the Start

次世代移動体通信Beyond 5G や次世代無線LAN では周波数資源や情報通信インフラの効率的利用に向け、機械学習による無線通信信号を用いた無線環境センシングが重要技術に位置づけられる。しかし、実用に向けては、無線通信と機械学習に起因する不確実性、すなわち、モデル作成時からの環境の変化によりセンシング結果が大きく変化する課題を克服する必要がある。本研究は、いつでも・どこでも・どの機器でも使用可能な汎用性のある無線環境センシングを目指し、視覚センシング(Vision) と無線通信(Wireless) を統合した“Vision and Wireless”に基づく新たなセンシング技術を確立する。

Outline of Annual Research Achievements

2023年度において、我々はWi-Fiの通信信号を活用した画像推定技術「RF-Inpainting」の高度化に焦点を当てました。この技術は、無線通信信号に内包される電波伝搬環境の情報、すなわち、空間内のどこに壁や天井や人のような反射や回折させる物体が存在するか、という物理的トポロジに関する情報をもとに監視カメラ等の画像を復元・修復する技術です。2023年度はWi-Fi CSI(Channel State Information)と呼ばれる、より詳細な無線チャネル情報を用いた手法を提案し、さらに高精度なイメージングが可能であることを実験的に示しました。この研究の成果はIEEEの学術誌に投稿中です。

また、無線環境センシングにおけるCSIのコンセプトシフトに関しても実験的に検証を行いました。コンセプトシフトは時間経過とともにデータの分布が変化することであり、Wi-Fiセンシングの精度に影響を与えることが実験的に確認されました。さらに、異なるCSI測定機器や方法によってコンセプトシフトの発生強度が異なることを実証しました。この研究成果もIEEE論文誌に投稿準備中です。

加えて、Firmware-AgnosticなWi-Fiセンシング技術の発展に寄与する特徴量選択手法を開発しました。Wi-Fi CSI測定には通常特殊なファームウェアが必要ですが、我々の提案する手法では、どのような測定器を使用しても測定が可能となり、普及の障壁を低減します。この技術はIEEE Communication Letterに採択され、その優れたアプローチが認められています。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初予定を上回る優れた研究成果をあげ多数のIEEE論文誌や国際会議に採択されたため。

Strategy for Future Research Activity

今後は、Wi-Fi チャネル状態情報(CSI)が時間と共に変化し、それによってセンシング精度が低下する問題に対処します。この問題は、コンセプトドリフトとして知られており、センシングシステムの長期的な信頼性に影響を与えます。具体的には、特徴量の時間的な変動に対し頑健な推定モデルを開発するための新しい手法を提案し、これによりメンテナンスフリーなWi-Fiセンシング技術の実現に寄与します。さらに、異なるタイプのデータ(画像、点群、無線信号)を組み合わせることで、より効果的なセンシングが可能になる統合フレームワークを開発します。このクロスモーダルなアプローチは、Modality-Agnosticなセンシング技術の基礎を形成し、様々な環境下での利用可能性を高めます。加えて、無線センシング技術を物体形状推定という新たなアプリケーションに適用することで、その応用範囲を広げることを目指します。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (20 results)

All 2024 2023 2022 Other

All Int'l Joint Research (4 results) Journal Article (6 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 6 results,  Open Access: 2 results) Presentation (10 results)

  • [Int'l Joint Research] University of Oulu(フィンランド)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Deakin University(オーストラリア)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] University of Oulu(フィンランド)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] Deakin University(オーストラリア)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Sensing SNR-Based Feature Selection of Beamforming Feedback Toward Firmware-Agnostic WiFi Sensing2024

    • Author(s)
      Shimomura Hiroki、Kondo Sota、Yamamoto Koji、Nishio Takayuki、Taya Akihito
    • Journal Title

      IEEE Wireless Communications Letters

      Volume: 13 Issue: 5 Pages: 1439-1442

    • DOI

      10.1109/lwc.2024.3373757

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Proactive Millimeter-Wave Link Quality Prediction Utilizing Out-of-Band CSI Fingerprinting and Supervised Learning: An Experimental Study2024

    • Author(s)
      Ohta Shoki、Chen Cheng、Nishio Takayuki
    • Journal Title

      Proceedings of IEEE CCNC

      Volume: - Pages: 248-253

    • DOI

      10.1109/ccnc51664.2024.10454787

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Point Cloud-Based Proactive Link Quality Prediction for Millimeter-Wave Communications2023

    • Author(s)
      Ohta Shoki、Nishio Takayuki、Kudo Riichi、Takahashi Kahoko、Nagata Hisashi
    • Journal Title

      IEEE Transactions on Machine Learning in Communications and Networking

      Volume: 1 Pages: 258-276

    • DOI

      10.1109/tmlcn.2023.3319286

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Spatial Frequency-based Feature Extraction for Point Cloud-based Proactive mmWave Link Quality Prediction2023

    • Author(s)
      Ohta Shoki、Nishio Takayuki、Kudo Riichi、Takahashi Kahoko、Nagata Hisashi
    • Journal Title

      Proceedings of IEEE Globecom

      Volume: - Pages: 4785-4791

    • DOI

      10.1109/globecom54140.2023.10437609

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Vision-Aided Frame-Capture-Based CSI Recomposition for WiFi Sensing: A Multimodal Approach2023

    • Author(s)
      Shimomura Hiroki、Koda Yusuke、Kanda Takamochi、Yamamoto Koji、Nishio Takayuki、Taya Akihito
    • Journal Title

      Proc. the 20th IEEE Annual Consumer Communications & Networking Conference (CCNC 2023)

      Volume: - Pages: 913-914

    • DOI

      10.1109/ccnc51644.2023.10060680

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] RF-Inpainter: Multimodal Image Inpainting Based on Vision and Radio Signals2022

    • Author(s)
      Chen Cheng、Nishio Takayuki、Bennis Mehdi、Park Jihong
    • Journal Title

      IEEE Access

      Volume: 10 Pages: 110689-110700

    • DOI

      10.1109/access.2022.3214972

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 記号計算による2×2MIMOビームフォーミングフィードバック2024

    • Author(s)
      山本高至
    • Organizer
      信学総大B-5B-48
    • Related Report
      2023 Annual Research Report
  • [Presentation] フロアプラン情報を手掛かりとした最適化に基づくNeural Inertial Localization2023

    • Author(s)
      米谷竜, 馬場惇
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 無線LANにおけるビームフォーミングフィードバックと特異値分解の考察2023

    • Author(s)
      下村大貴, 山本高至, 西尾理志, 田谷昭仁
    • Organizer
      信学会RISING研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Attention機構を用いた無線信号ガイド付き画像修復2023

    • Author(s)
      陳 誠、太田翔己、西尾理志、Mehdi Bennis、Park Jihong、モハメド ワヒブ
    • Organizer
      IEICE SeMI研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Wi-Fi CSIと教師あり学習を用いたミリ波通信品質予測の実験評価2023

    • Author(s)
      太田翔己、小寺奏怜、西尾理志
    • Organizer
      IEICE SeMI研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] カメラを用いた人物位置検出のCSIセンシングへの移行に関する実験的な検討2023

    • Author(s)
      小寺奏怜、太田翔己、西尾理志
    • Organizer
      電子情報通信学会 SeMI研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ビームフォーミングフィードバックを用いたリアルタイム侵入者検知2023

    • Author(s)
      近藤綜太, 山本高至, 西尾理志, 田谷昭仁
    • Organizer
      電子情報通信学会 SeMI研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ビームフォーミングフィードバックを用いた見通し判定の検討2023

    • Author(s)
      下村大貴, 神田高望, 山本高至, 西尾理志, 田谷昭仁
    • Organizer
      電子情報通信学会 SeMI研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 点群を用いたミリ波通信品質予測の点群データ量削減に関する基礎的検討2022

    • Author(s)
      太田翔己、西尾理志、工藤理一、高橋馨子、永田尚志
    • Organizer
      電子情報通信学会 SeMI研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Federated Learningにおける典型的な課題と最近の展開2022

    • Author(s)
      米谷 竜
    • Organizer
      第25回情報論的学習理論ワークショップ
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi