• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Context Recognition of Humans and Objects by Distributed Zero-Energy IoT Devices

Research Project

Project/Area Number 19H05665
Research Category

Grant-in-Aid for Scientific Research (S)

Allocation TypeSingle-year Grants
Review Section Broad Section J
Research InstitutionKyoto Tachibana University (2021-2022)
Osaka University (2019-2020)

Principal Investigator

東野 輝夫  京都橘大学, 工学部, 教授 (80173144)

Co-Investigator(Kenkyū-buntansha) 梅津 高朗  滋賀大学, データサイエンス学系, 准教授 (10346174)
荒川 豊  九州大学, システム情報科学研究院, 教授 (30424203)
安本 慶一  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (40273396)
中村 嘉隆  京都橘大学, 工学部, 准教授 (40452528)
山口 弘純  大阪大学, 情報科学研究科, 教授 (80314409)
廣森 聡仁  大阪大学, 経営企画オフィス, 准教授 (90506544)
Project Period (FY) 2019-06-26 – 2024-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥200,200,000 (Direct Cost: ¥154,000,000、Indirect Cost: ¥46,200,000)
Fiscal Year 2022: ¥39,780,000 (Direct Cost: ¥30,600,000、Indirect Cost: ¥9,180,000)
Fiscal Year 2021: ¥37,700,000 (Direct Cost: ¥29,000,000、Indirect Cost: ¥8,700,000)
Fiscal Year 2020: ¥39,000,000 (Direct Cost: ¥30,000,000、Indirect Cost: ¥9,000,000)
Fiscal Year 2019: ¥47,060,000 (Direct Cost: ¥36,200,000、Indirect Cost: ¥10,860,000)
KeywordsIoT / 状況認識技術 / センシング / エナジーハーベスト / 無線通信
Outline of Research at the Start

IoTを活用した超スマート社会の実現には、バッテリレスでメンテナンスフリーなIoTデバイス(受動型IoTデバイス)の普及が重要である。本提案研究では、環境に存在する電波を利用して起電・通信が可能なWiFiやRFIDベースの無線通信技術と、3Dプリンタを用いた電子回路設計技術を併用して、ヒトやモノの状況認識に適用可能なバッテリレスの受動型IoTセンシングデバイスをカスタムメイドで作製し、高齢者の見守り、スポーツ選手の活動把握、ヒトやモノのモビリティ把握などに適用可能な状況認識技術を創出するとともに、それらの受動型IoTデバイス網を用いた状況認識システムの設計開発支援環境を開発する。

Outline of Annual Research Achievements

本提案研究では、バックスキャッター通信技術と3Dプリンタを用いた電子回路設計技術を併用して、ヒトやモノの状況認識に適用可能な調停消費電力の受動型IoTセンシングデバイス(人感センサ、加速度センサ、温度計など)を開発し、(i)高齢者の見守り、(ii)スポーツ選手の活動把握、(iii)ヒトの移動軌跡把握、(iv)人間関係把握のためのソシオグラム構築、(v)風力・地盤変動把握、(vi)商業施設の空調管理、などに活用可能な状況認識技術を創出することを目指している。
本年度は昨年度に引き続き、ヒトやモノの状況認識のための幾つかのバックスキャッターデバイスを開発すると共に、バックスキャッターデバイスからの反射波の距離向上や雑音信号の除去などバックスキャッター通信の機能向上、ならびに、バックスキャッター通信で得られた情報を既存のIEEE 802.11互換フレームとして送受信可能なソフトウェア無線機(通常のWiFiとバックスキャッター通信を仲介する無線アクセスポイント(技適獲得))の機能向上を実施した。その結果、複数のバックスキャッターデバイスに対して、異なる周波数でデバイス固有の周波数シフトを発生させることで、複数のバックスキャッターデバイスが共存するような環境下での高精度なセンシングが行えるようになった。また、対象領域に複数のソフトウェア無線機を設置して、バックスキャッターデバイスからの反射波の方向を高精度に推定することで、当該バックスキャッターデバイスの位置や移動軌跡を高精度に推定するための技術を創出した。現在、精度向上を目指した改良を実施している。また、小型のソーラパネルでバックスキャッターデバイスの送受信電力を賄ったり、超小型のボタン電池で数年間運用可能なバックスキャッターデバイスを開発するなど、バックスキャッターデバイスの超低消費電力化に一定の目処をつけることができた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

提案研究において、これまでにバックスキャッターデバイスの開発やソフトウェア無線機(バックスキャッター通信と一般のWi-Fi通信をサポートする基地局)の開発に注力し、人の移動、ドアの開閉、椅子への着座、温度の変化など、人やモノの状況把握のための様々なバックスキャッターデバイスを作成し、実際に人やモノの状況把握が行えることを確認している。開発したソフトウェア無線機では、IEEE802.11フレームのペイロードに最大5.4msの搬送波を埋め込むことで、バックスキャッターデバイスに搬送波を送信すると同時に、当該バックスキャッターデバイスから返信された情報を既存のIEEE 802.11互換フレームとしてWi-Fi網に送信可能な機能を実現し、国の技適も取得し、実際の生活空間でWi-Fi通信とバックスキャッター通信併用型のセンシングシステムが運用可能な状態になっている。
また、開発したソフトウェア無線機では、異なる2つのソフトウェア無線機のアンテナで同じバックスキャッターデバイスからの信号を受信することで位相差が取得可能になり、得られた両者の電波強度からどの方向からどの程度の強さの電波が送信されているかがリアルタイムに分かるようになり、当該バックスキャッターデバイスの位置を高精度に判定できるようになった
なお、コロナ禍で海外出張などが制限されているので、当初予定の旅費などの経費をソフトウェア無線機の開発・機能向上に振り替えることで、バックスキャッター通信の通信距離の延伸や雑音除去などの機能強化を実施することができた。また、作成したバックスキャッターデバイスの消費電力は20-30マイクロワット程度で、小型のソーラパネルなどで給電なしでの長期運用も可能であることや、超小型のボタン電池で数年間運用できることなどを確認している。
これらの成果より、概ね研究は順調に進捗していると考えている。

Strategy for Future Research Activity

今後は、バックスキャッターデバイスに簡易なCPUを装着して超低消費電力でより高度なヒトやモノの状況認識を行えるようなセンシングの仕組みを構築することや、開発したソフトウェア無線機を用いた複数の人やモノの同時位置推定技術の創出、ならびに位置推定精度の向上、状況認識システムの設計開発支援環境の構築、複数のバックスキャッターデバイスとAI技術の連携によるヒト・モノの高度な状況認識技術の開発などを行っていきたいと考えている。
ヒトやモノの状況認識を行えるようなセンシングの仕組みの構築については、(i)高齢者の見守り、(ii)スポーツ選手の活動把握、(iii)ヒトの移動軌跡把握、(iv)人間関係把握のためのソシオグラム構築、(v)風力・地盤変動把握、(vi)商業施設の空調管理、などのいくつかについて、実際に活用可能な状況認識技術を創出していきたいと考えている。
開発したソフトウェア無線機を用いた複数の人やモノの同時位置推定技術の創出については、無線電波の電波伝搬の状況によって精度がかなり変わってくるので、屋内外の様々な環境においても誤差2-3メートルでの位置推定が可能になるように、ソフトウェア無線機の機能向上などを図っていきたいと考えている。
状況認識システムの設計開発支援環境の構築やAI技術の連携によるヒト・モノの高度な状況認識技術の開発については、実際に利用可能な対象を幾つか設定し、それらに対する開発支援環境の構築やAI技術の連携を図っていきたいと考えている。

Assessment Rating
Interim Assessment Comments (Rating)

A-: In light of the aim of introducing the research area into the research categories, the expected progress in research has been made on the whole though a part of it has been delayed.

Report

(7 results)
  • 2021 Abstract (Interim Assessment) ( PDF )   Annual Research Report   Interim Assessment (Comments) ( PDF )
  • 2020 Annual Research Report
  • 2019 Abstract ( PDF )   Comments on the Screening Results ( PDF )   Annual Research Report

Research Products

(35 results)

All 2022 2021 2020 2019

All Journal Article (13 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 13 results,  Open Access: 7 results) Presentation (22 results) (of which Int'l Joint Research: 21 results,  Invited: 4 results)

  • [Journal Article] A Robust and Accurate Indoor Localization Using Learning-Based Fusion of Wi-Fi RTT and RSSI2022

    • Author(s)
      Hamada Rizk, Ahmed Elmogy and Hirozumi Yamaguchi
    • Journal Title

      Sensors Journal

      Volume: 22(7)

    • DOI

      10.3390/s22072700

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] <i>BAAS</i>: Backscatter as a Sensor for Ultra-Low-Power Context Recognition2022

    • Author(s)
      Yoshihiro Nakagawa, Toru Maeda, Akira Uchiyama, and Teruo Higashino
    • Journal Title

      Journal of Information Processing

      Volume: Vol.30 Issue: 0 Pages: 130-139

    • DOI

      10.2197/ipsjjip.30.130

    • NAID

      130008159969

    • ISSN
      1882-6652
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Wi-CaL: WiFi Sensing and Machine Learning Based Device-Free Crowd Counting and Localization2022

    • Author(s)
      Hyuckjin Choi, Manato Fujimoto, Tomokazu Matsui, Shinya Misaki, Keiichi Yasumoto
    • Journal Title

      IEEE Access

      Volume: 10 Pages: 24395-24410

    • DOI

      10.1109/access.2022.3155812

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] TSVNet: Combining Time-Series and Opportunistic Sensing by Transfer Learning for Dynamic Thermal Sensation Estimation2021

    • Author(s)
      Hiroki Yoshikawa, Akira Uchiyama, Teruo Higashino
    • Journal Title

      IEEE Access

      Volume: Vol.9 Pages: 102835-102846

    • DOI

      10.1109/access.2021.3097882

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] ゼロエフォートセンシングによる屋内Wi-Fi APの3次元位置推定手法2021

    • Author(s)
      天野 辰哉, 山口 弘純, 東野 輝夫
    • Journal Title

      情報処理学会論文誌

      Volume: Vol.62,No.5 Issue: 5 Pages: 1328-1340

    • DOI

      10.20729/00211106

    • NAID

      170000184873

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Smart Sensing and Super-Intelligent Networking Technologies for Enabling Society5.0 Systems and Applications2021

    • Author(s)
      山口 弘純
    • Journal Title

      電子情報通信学会論文誌B 通信

      Volume: Vol.J104-B, No.3 Issue: 3 Pages: 129-139

    • DOI

      10.14923/transcomj.2020AII0002

    • ISSN
      1881-0209
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Home Activity Pattern Estimation Using Aggregated Electricity Consumption Data2021

    • Author(s)
      Kotaro Ishizu, Teruhiro Mizumoto, Hirozumi Yamaguchi, Teruo Higashino
    • Journal Title

      Sensors and Materials

      Volume: Vol. 33, No. 1 Issue: 1 Pages: 69-88

    • DOI

      10.18494/sam.2021.2992

      10.18494/SAM.2021.2992

    • ISSN
      0914-4935, 2435-0869
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Context Recognition by Wireless Sensing: A Comprehensive Survey2021

    • Author(s)
      Akira Uchiyama, Shunsuke Saruwatari, Takuya Maekawa, Kazuya Ohara, Teruo Higashino
    • Journal Title

      Journal of Information Processing

      Volume: Vol.29 Pages: 46-57

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Connected AR for Combating COVID-192020

    • Author(s)
      Tastuya Amano, Hirozumi Yamaguchi, Teruo Higashino
    • Journal Title

      IEEE Internet of Things Magazine

      Volume: Vol.3, Issue 3 Pages: 46-51

    • DOI

      10.1109/iotm.0001.2000149

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Localization of heating, ventilation, and air conditioning by Walking in Smart Building2020

    • Author(s)
      Nathavuth Kitbutrawat, Chuanhsin Chen, Shugo Kajita, Hirozumi Yamaguchi, Teruo Higashino
    • Journal Title

      Sensors and Materials

      Volume: Vol. 32, No. 1 Issue: 1 Pages: 59-78

    • DOI

      10.18494/sam.2020.2622

      10.18494/SAM.2020.2622

    • ISSN
      0914-4935, 2435-0869
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Route Planning Through Distributed Computing by Road Side Units2020

    • Author(s)
      Jose Paolo Talusan, Michael Wilbur, Abhishek Dubey, Keiichi Yasumoto
    • Journal Title

      IEEE Access

      Volume: Vol.8 Pages: 176134-176148

    • DOI

      10.1109/access.2020.3026677

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] SALON: Simplified Sensing System for Activity of Daily Living in Ordinary Home2020

    • Author(s)
      Tomokazu Matsui, Kosei Onishi, Shinya Misaki, Manato Fujimoto, Hirohiko Suwa, Keiichi Yasumoto
    • Journal Title

      Sensors

      Volume: Vol.20, No.17

    • DOI

      10.3390/s20174895

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] CrowdMeter: Gauging Congestion Level in Railway Stations Using Smartphones2019

    • Author(s)
      Moustafa Elhamshary, Moustafa Youssef, Akira Uchiyama, Akihito Hiromori, Hirozumi Yamaguchi and Teruo Higashino
    • Journal Title

      Pervasive and Mobile Computing

      Volume: 58 Pages: 1-15

    • DOI

      10.1016/j.pmcj.2019.04.005

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] Simultaneous Crowd Estimation in Counting and Localization Using WiFi CSI2021

    • Author(s)
      Hyuckjin Choi, Tomokazu Matsui, Shinya Misaki, Atsushi Miyaji, Manato Fujimoto, Keiichi Yasumoto
    • Organizer
      2021 International Conference on Indoor Positioning and Indoor Navigation (IPIN 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Batterfly: Battery-Free Daily Living Activity Recognition System through Distributed Execution over Energy Harvesting Analog PIR Sensors2021

    • Author(s)
      Sopicha Stirapongsasuti, Shinya Misaki, Tomokazu Matsui, Hirohiko Suwa, Keiichi Yasumoto
    • Organizer
      17th International Conference on Distributed Computing in Sensor Systems (DCOSS 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ZEL: Net-Zero-Energy Lifelogging System using Heterogeneous Energy Harvesters2021

    • Author(s)
      Mitsuru Arita, Yugo Nakamura, Shigemi Ishida, Yutaka Arakawa
    • Organizer
      2022 IEEE International Conference on Pervasive Computing and Communications (PerCom)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 充電不要なライフログ記録システムの提案と実用環境での性能検証2021

    • Author(s)
      有田 充, 中村 優吾, 石田 繁巳, 荒川 豊
    • Organizer
      情報処理学会 第29回マルチメディア通信と分散処理ワークショップ論文集
    • Related Report
      2021 Annual Research Report
  • [Presentation] You Work We Care: Sitting Posture Assessment Based on Point Cloud Data2021

    • Author(s)
      Hikaru Katayama, Teruhiro Mizumoto, Hamada Rizk and Hirozumi Yamaguchi
    • Organizer
      2022 IEEE Intertnational Conference on Pervasive Computing and Communications Workshops
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Data Balancing for Thermal Comfort Datasets Using Conditional Wasserstein GAN with a Weighted Loss Function2021

    • Author(s)
      Hiroki Yoshikawa, Akira Uchiyama, Teruo Higashino
    • Organizer
      8th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation (BuildSys 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A New Problem Setting for Mobile Robots Based on Backscatter-Based Communication and Sensing2021

    • Author(s)
      Teruo Higashino, Akira Uchiyama, Hirozumi Yamaguchi, Shunsuke Saruwatari, Takashi Watanabe, Toshimitsu Masuzawa
    • Organizer
      23rd International Symposium on Stabilization, Safety, and Security of Distributed Systems (SSS 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Society 5.0: Its Aim and Construction of Future Super Smart Society - How can we create sustainable IoT device networks? -2021

    • Author(s)
      Teruo Higashino
    • Organizer
      Global IEEE 5G-IoT Summit Dubai
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Society 5.0: Its Aim and Construction of Future Smart City2021

    • Author(s)
      Teruo Higashino
    • Organizer
      10th IEEE International Conference on Cloud Computing in Emerging Markets
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Society 5.0 - Research aimed at disease prediction, prevention, and early detection from daily activity data -2021

    • Author(s)
      Teruo Higashino
    • Organizer
      IEEE 5G & Blockchain Summit
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Learn to See: A Microwave-based Object Recognition System Using Learning Techniques2021

    • Author(s)
      Viktor Erdelyi, Hamada Rizk, Hirozumi Yamaguchi, Teruo Higashino
    • Organizer
      22nd International Conference on Distributed Computing and Networking (ICDCN 2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Evaluation of Theoretical Interference Estimation Metrics for Dense Wi-Fi Networks2021

    • Author(s)
      Srikant Manas Kala, Vanlin Sathya Robinson, Winston K.G. Seah, Hirozumi Yamaguchi, Teruo Higashin
    • Organizer
      13th International Conference on Communication Systems & Networks (COMSNET2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Design and Evaluation of a Frequency Shift Backscatter Tag for Context Recognition2021

    • Author(s)
      Yoshihiro Nakagawa, Toru Maeda, Akira Uchiyama, Teruo Higashino
    • Organizer
      22nd International Conference on Distributed Computing and Networking (ICDCN 2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Initial Attempt on Wi-Fi CSI Based Vibration Sensing for Factory Equipment Fault Detection2021

    • Author(s)
      Sirui Jian, Shigemi Ishida, Yutaka Arakawa
    • Organizer
      22nd International Conference on Distributed Computing and Networking (ICDCN 2021)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Trajectory-Assisted Robust RFID-tagged Object Tracking and Recognition in Room Environment2020

    • Author(s)
      Motoki Ougida, Hirozumi Yamaguchi, Teruo Higashino
    • Organizer
      23rd ACM International Conference on Modeling, Analysis and Simulation of Wireless and Mobile Systems (ACM MSWiM2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gain Without Pain: Enabling Fingerprinting-based Indoor Localization using Tracking Scanners2020

    • Author(s)
      Hamada Rizk, Hirozumi Yamaguchi, Moustafa Youssef, Teruo Higashino
    • Organizer
      28th ACM International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Ubiquitous and Accurate Floor Estimation System Using Deep Representational Learning2020

    • Author(s)
      Hamada Rizk, Hirozumi Yamaguchi, Moustafa Youssef, Teruo Higashino
    • Organizer
      28th ACM International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Home Activity Recognition Using Aggregated Electricity Consumption Data2020

    • Author(s)
      Kotaro Ishizu, Teruhiro Mizumoto, Hirozumi Yamaguchi, Teruo Higashino
    • Organizer
      5th IEEE Workshop on Smart Service Systems (IEEE SmartSys 2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Smartphone-based Risky Traffic Situation Detection and Classification2020

    • Author(s)
      Ryota Akikawa, Akira Uchiyama, Akihito Hiromori, Hirozumi Yamaguchi, Teruo Higashino, Masaki Suzuki, Yasuhiko Hiehata, Takeshi Kitahara
    • Organizer
      2nd International Workshop on Pervasive Computing for Vehicular Systems (PerVehicle2020)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] owards People Counting Using Wi-Fi CSI of Mobile Devices2020

    • Author(s)
      Masahide Mizutani, Akira Uchiyama, Tomoki Murakami, Hirantha Abeysekera, Teruo Higashino
    • Organizer
      2020 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Automatic Localization of Passive Infra-Red Binary Sensors in Home: From Dense to Scattered Network2019

    • Author(s)
      Nathavuth Kitbutrawat, Francois Portet, Hirozumi Yamaguchi, Teruo Higashino
    • Organizer
      17th IEEE International Conference on Pervasive Intelligence and Computing (IEEE PICOM2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Context Recognition of Humans and Objects by Distributed Zero-Energy IoT Devices2019

    • Author(s)
      Teruo Higashino, Akira Uchiyama, Shunsuke Saruwatari, Hirozumi Yamaguchi, Takashi Watanabe
    • Organizer
      39th IEEE International Conference on Distributed Computing Systems (IEEE ICDCS2019)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2019-06-27   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi