• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多様な環境に適用可能なコンピュータビジョンと無線通信のクロスモーダルセンシング

研究課題

研究課題/領域番号 23K24831
補助金の研究課題番号 22H03575 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分60060:情報ネットワーク関連
研究機関東京工業大学

研究代表者

西尾 理志  東京工業大学, 工学院, 准教授 (80711522)

研究分担者 山本 高至  京都工芸繊維大学, 情報工学・人間科学系, 教授 (30423015)
米谷 竜  株式会社サイバーエージェント(AI事業本部 AI Lab), AItech Studio AI Lab, リサーチサイエンティスト (40733481)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2025年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2023年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
キーワードVision and Wireless / 無線センシング / Computer Vision / WiFiセンシング / マルチモーダルセンシング / 機械学習 / 無線環境センシング / コンピュータビジョン / 無線通信 / CSIセンシング / 無線イメージング
研究開始時の研究の概要

次世代移動体通信Beyond 5G や次世代無線LAN では周波数資源や情報通信インフラの効率的利用に向け、機械学習による無線通信信号を用いた無線環境センシングが重要技術に位置づけられる。しかし、実用に向けては、無線通信と機械学習に起因する不確実性、すなわち、モデル作成時からの環境の変化によりセンシング結果が大きく変化する課題を克服する必要がある。本研究は、いつでも・どこでも・どの機器でも使用可能な汎用性のある無線環境センシングを目指し、視覚センシング(Vision) と無線通信(Wireless) を統合した“Vision and Wireless”に基づく新たなセンシング技術を確立する。

研究実績の概要

2023年度において、我々はWi-Fiの通信信号を活用した画像推定技術「RF-Inpainting」の高度化に焦点を当てました。この技術は、無線通信信号に内包される電波伝搬環境の情報、すなわち、空間内のどこに壁や天井や人のような反射や回折させる物体が存在するか、という物理的トポロジに関する情報をもとに監視カメラ等の画像を復元・修復する技術です。2023年度はWi-Fi CSI(Channel State Information)と呼ばれる、より詳細な無線チャネル情報を用いた手法を提案し、さらに高精度なイメージングが可能であることを実験的に示しました。この研究の成果はIEEEの学術誌に投稿中です。

また、無線環境センシングにおけるCSIのコンセプトシフトに関しても実験的に検証を行いました。コンセプトシフトは時間経過とともにデータの分布が変化することであり、Wi-Fiセンシングの精度に影響を与えることが実験的に確認されました。さらに、異なるCSI測定機器や方法によってコンセプトシフトの発生強度が異なることを実証しました。この研究成果もIEEE論文誌に投稿準備中です。

加えて、Firmware-AgnosticなWi-Fiセンシング技術の発展に寄与する特徴量選択手法を開発しました。Wi-Fi CSI測定には通常特殊なファームウェアが必要ですが、我々の提案する手法では、どのような測定器を使用しても測定が可能となり、普及の障壁を低減します。この技術はIEEE Communication Letterに採択され、その優れたアプローチが認められています。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初予定を上回る優れた研究成果をあげ多数のIEEE論文誌や国際会議に採択されたため。

今後の研究の推進方策

今後は、Wi-Fi チャネル状態情報(CSI)が時間と共に変化し、それによってセンシング精度が低下する問題に対処します。この問題は、コンセプトドリフトとして知られており、センシングシステムの長期的な信頼性に影響を与えます。具体的には、特徴量の時間的な変動に対し頑健な推定モデルを開発するための新しい手法を提案し、これによりメンテナンスフリーなWi-Fiセンシング技術の実現に寄与します。さらに、異なるタイプのデータ(画像、点群、無線信号)を組み合わせることで、より効果的なセンシングが可能になる統合フレームワークを開発します。このクロスモーダルなアプローチは、Modality-Agnosticなセンシング技術の基礎を形成し、様々な環境下での利用可能性を高めます。加えて、無線センシング技術を物体形状推定という新たなアプリケーションに適用することで、その応用範囲を広げることを目指します。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (20件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (4件) 雑誌論文 (6件) (うち国際共著 1件、 査読あり 6件、 オープンアクセス 2件) 学会発表 (10件)

  • [国際共同研究] University of Oulu(フィンランド)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Deakin University(オーストラリア)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] University of Oulu(フィンランド)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] Deakin University(オーストラリア)

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Sensing SNR-Based Feature Selection of Beamforming Feedback Toward Firmware-Agnostic WiFi Sensing2024

    • 著者名/発表者名
      Shimomura Hiroki、Kondo Sota、Yamamoto Koji、Nishio Takayuki、Taya Akihito
    • 雑誌名

      IEEE Wireless Communications Letters

      巻: 13 号: 5 ページ: 1439-1442

    • DOI

      10.1109/lwc.2024.3373757

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Proactive Millimeter-Wave Link Quality Prediction Utilizing Out-of-Band CSI Fingerprinting and Supervised Learning: An Experimental Study2024

    • 著者名/発表者名
      Ohta Shoki、Chen Cheng、Nishio Takayuki
    • 雑誌名

      Proceedings of IEEE CCNC

      巻: - ページ: 248-253

    • DOI

      10.1109/ccnc51664.2024.10454787

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Point Cloud-Based Proactive Link Quality Prediction for Millimeter-Wave Communications2023

    • 著者名/発表者名
      Ohta Shoki、Nishio Takayuki、Kudo Riichi、Takahashi Kahoko、Nagata Hisashi
    • 雑誌名

      IEEE Transactions on Machine Learning in Communications and Networking

      巻: 1 ページ: 258-276

    • DOI

      10.1109/tmlcn.2023.3319286

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Spatial Frequency-based Feature Extraction for Point Cloud-based Proactive mmWave Link Quality Prediction2023

    • 著者名/発表者名
      Ohta Shoki、Nishio Takayuki、Kudo Riichi、Takahashi Kahoko、Nagata Hisashi
    • 雑誌名

      Proceedings of IEEE Globecom

      巻: - ページ: 4785-4791

    • DOI

      10.1109/globecom54140.2023.10437609

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Vision-Aided Frame-Capture-Based CSI Recomposition for WiFi Sensing: A Multimodal Approach2023

    • 著者名/発表者名
      Shimomura Hiroki、Koda Yusuke、Kanda Takamochi、Yamamoto Koji、Nishio Takayuki、Taya Akihito
    • 雑誌名

      Proc. the 20th IEEE Annual Consumer Communications & Networking Conference (CCNC 2023)

      巻: - ページ: 913-914

    • DOI

      10.1109/ccnc51644.2023.10060680

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] RF-Inpainter: Multimodal Image Inpainting Based on Vision and Radio Signals2022

    • 著者名/発表者名
      Chen Cheng、Nishio Takayuki、Bennis Mehdi、Park Jihong
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 110689-110700

    • DOI

      10.1109/access.2022.3214972

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 記号計算による2×2MIMOビームフォーミングフィードバック2024

    • 著者名/発表者名
      山本高至
    • 学会等名
      信学総大B-5B-48
    • 関連する報告書
      2023 実績報告書
  • [学会発表] フロアプラン情報を手掛かりとした最適化に基づくNeural Inertial Localization2023

    • 著者名/発表者名
      米谷竜, 馬場惇
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 無線LANにおけるビームフォーミングフィードバックと特異値分解の考察2023

    • 著者名/発表者名
      下村大貴, 山本高至, 西尾理志, 田谷昭仁
    • 学会等名
      信学会RISING研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Attention機構を用いた無線信号ガイド付き画像修復2023

    • 著者名/発表者名
      陳 誠、太田翔己、西尾理志、Mehdi Bennis、Park Jihong、モハメド ワヒブ
    • 学会等名
      IEICE SeMI研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Wi-Fi CSIと教師あり学習を用いたミリ波通信品質予測の実験評価2023

    • 著者名/発表者名
      太田翔己、小寺奏怜、西尾理志
    • 学会等名
      IEICE SeMI研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] カメラを用いた人物位置検出のCSIセンシングへの移行に関する実験的な検討2023

    • 著者名/発表者名
      小寺奏怜、太田翔己、西尾理志
    • 学会等名
      電子情報通信学会 SeMI研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ビームフォーミングフィードバックを用いたリアルタイム侵入者検知2023

    • 著者名/発表者名
      近藤綜太, 山本高至, 西尾理志, 田谷昭仁
    • 学会等名
      電子情報通信学会 SeMI研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ビームフォーミングフィードバックを用いた見通し判定の検討2023

    • 著者名/発表者名
      下村大貴, 神田高望, 山本高至, 西尾理志, 田谷昭仁
    • 学会等名
      電子情報通信学会 SeMI研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 点群を用いたミリ波通信品質予測の点群データ量削減に関する基礎的検討2022

    • 著者名/発表者名
      太田翔己、西尾理志、工藤理一、高橋馨子、永田尚志
    • 学会等名
      電子情報通信学会 SeMI研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Federated Learningにおける典型的な課題と最近の展開2022

    • 著者名/発表者名
      米谷 竜
    • 学会等名
      第25回情報論的学習理論ワークショップ
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi