• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Human tracing based on spatio-temporal fluctuation of odor

Research Project

Project/Area Number 22H04952
Research Category

Grant-in-Aid for Scientific Research (S)

Allocation TypeSingle-year Grants
Review Section Broad Section C
Research InstitutionKyushu University

Principal Investigator

林 健司  九州大学, システム情報科学研究院, 教授 (50202263)

Co-Investigator(Kenkyū-buntansha) 中野 幸二  九州大学, 工学研究院, 准教授 (10180324)
冨浦 洋一  九州大学, システム情報科学研究院, 教授 (10217523)
興 雄司  九州大学, システム情報科学研究院, 教授 (10243908)
竪 直也  九州大学, システム情報科学研究院, 准教授 (30466784)
佐々 文洋  九州大学, システム情報科学研究院, 准教授 (30722681)
石田 寛  東京農工大学, 工学(系)研究科(研究院), 教授 (80293041)
Project Period (FY) 2022-04-27 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥192,400,000 (Direct Cost: ¥148,000,000、Indirect Cost: ¥44,400,000)
Fiscal Year 2025: ¥31,590,000 (Direct Cost: ¥24,300,000、Indirect Cost: ¥7,290,000)
Fiscal Year 2024: ¥41,600,000 (Direct Cost: ¥32,000,000、Indirect Cost: ¥9,600,000)
Fiscal Year 2023: ¥39,650,000 (Direct Cost: ¥30,500,000、Indirect Cost: ¥9,150,000)
Fiscal Year 2022: ¥53,560,000 (Direct Cost: ¥41,200,000、Indirect Cost: ¥12,360,000)
Keywordsガスセンサ / ロボット / 人探索 / 時空間揺らぎ / 匂いセンサ / ハイパースペクトルイメージング / 偏光回転素子 / センサロボット / 時空間ゆらぎ / プラズモニックガスセンサ / ハイパースペクトル
Outline of Research at the Start

匂いなどの揮発性化学物質情報を光情報に変換する光化学ナノプローブを2次元展開し、匂いの流れや痕跡などの空間分布を見ることができるデバイスを開発し、化学物質空間を高速・高感度、かつ高い空間分解能で可視化する。この化学イメージングデバイスは化学物質情報をハイパースペクトル情報に変換し、多種多様な匂い物質情報を網羅的に取得できる。さらに、開発したセンサデバイスの機能実証研究として、匂い情報キュレーションロボットを構築し、ガス源探索(重要例:危険物漏洩、災害現場での人探索)を実現する。

Outline of Annual Research Achievements

研究開発の3レイヤ(opto-chemicalプローブ、2次元プラズモニックガスセンサとハイパースペクトルイメージング、 可視化ガス時空間画像の解析とセンサロボット開発)について実績を説明する。1) ガス認識ホスト材料ではカーボン量子ドットと人工ペプチドホストを組み合わせたプローブを開発した。LSPR/SERSガスセンサの開発では2次元ガスセンサをスパッタとインクジェット印刷で作製し、ハイパースペクトル情報により疑似カラー表示で16種のガスの広がりの可視化と識別に成功した。SERSセンサではコロイド合成による高感度SERS基板の作製に成功し、NMF(非負値行列分解)と畳込neural networkで複数のガス分布形状を分離推定した。フレキシブルセンサではインクジェット印刷でガス応答が異なるセンサピクセル構造を持つLSPRガスセンサを開発した。また、フレキシブルセンサの微小凹凸構造で方向異方性を付与し、匂い風向の可視化に成功した。2)高速ハイパースペクトルイメージングでは光子ブリーディング現象に着目し、新しい偏光回転素子の画素デバイスを試作し、Verdet定数換算で+320%の偏光回転量の向上に成功した。3)導入済みのロボットに搭載可能なセンサユニット(大気中のガスプルームの動的空間分布可視化モード、地面匂い痕跡形状可視化モードを有する)を開発した。また、2次元LSPRガスセンサにより地面の匂い痕跡可視化モードで匂い痕跡形状の可視化に成功した。匂い分布の時空間解析ではハイパースペクトル出力画像から複数ガスが混合する環境で、目的ガスの2次元的濃度分布をNMFにより得た。ロボット制御用ガス流れ解析ではガス位置推定アルゴリズムの検討を行った。また、ガス分布を再現するシミュレータを開発し,変動する風に運ばれ,不規則に蛇行しながら風にたなびくガス分布の再現に成功した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

ガス分子認識機能材料、opto-chemicalプローブ開発と2次元プラズモニックガスセンサ、各種センサを搭載したロボット用ガス可視化センサユニット、プラズモニックガスセンサ特性を持つインクジェット用インク、フレキシブルガスセンサ基板の開発、2次元プラズモニックガスセンサによる複数のガスが混在する時空間分布の可視化、ハイパースペクトル情報として記録されたガス分布の解析、ロボットプラットフォームの構築と匂い源探索制御に関する研究開発については、いずれも順調に進捗している。高速ハイパースペクトルイメージングデバイス用偏光回転素子の基礎研究では偏光回転角について大きな性能向上を達成した。また、LSPRフレキシブルガスセンサについてはガス風向風速計の実現の見通しが立ち、ガス源探索に用いることができる新たな情報の生成に成功した。インクジェットによるピクセル構造を持つガスセンサの開発に成功し、ハイパースペクトル情報と合わせて、ガス種に関するセンサ情報量の大きな増大に成功している。以上、当初の研究計画で想定した以上の進捗を得ている。

Strategy for Future Research Activity

1)分子選択材料ではグラフェン量子ドットを加え、引き続き人関連ガス分子認識能を持つ材料研究を行う。LSPRセンサではスパッタ法に加え、SERSセンサと同じコロイド溶液Au/AgNPsを導入し、高密度ナノ粒子構造を持つインク調整、プラズモンカップリングする機能材料を導入する。2)偏光回転現象の波長依存性・偏光依存性の検証を継続し、高速性・波長分解能・空間分解能などのハイパースペクトルイメージング応用に適した性能を調査する。その上でイメージング応用検証を行う。2次元センサにおいては、インクジェット印刷によるピクセル化を進め、ハイパースペクトル情報とピクセル情報によりセンサ情報の2桁増加を図る。インクジェットインク調整では分子認識材料、光機能材料、プラズモン共鳴結合色素系を組成に加え、同時にセンサ性能回復材料の導入も検討する。2次元フレキシブルセンサでは微細凹凸構造導入によるガス種ごとの匂い風向情報を取得し、ガス源探索解析への応用を検討する。3)匂い源探索ロボットのプロトタイプを作製する。LSPRセンサユニット、各種物理センサ、超音波風向風速計を搭載し,センサユニットの応答から匂い源位置推定を検討する。自己位置確認とLiDARにより障害物を検出・回避し、匂い・ガス源の推定位置に自律的に向かうことができる構成とする。また、ドローンを併用し、屋外環境で匂いやガスの発生源の探索実験を行う。複合ガス応答の分解ではハイパースペクトルイメージングによる成分ガスごとの可視化を行う。その上で着目する人関連匂い物質の時空間分布とゆらぎを解析し、対象成分の有無が評価関数の増大・減少に与える影響を調査する。この結果をロボットのガス源探索制御にフィードバックし、探索精度をさらに向上させるアルゴリズムを構築する。また、探索実験では屋内環境・屋外フィールド設定を検討する。

Assessment Rating
Interim Assessment Comments (Rating)

A+: In light of the aim of introducing the research area into the research categories, more progress has been made in research than expected.

Report

(5 results)
  • 2024 Interim Assessment (Comments) ( PDF )
  • 2023 Annual Research Report
  • 2022 Abstract ( PDF )   Comments on the Screening Results   Annual Research Report
  • Research Products

    (38 results)

All 2024 2023 2022 Other

All Journal Article (14 results) (of which Int'l Joint Research: 5 results,  Peer Reviewed: 14 results,  Open Access: 4 results) Presentation (22 results) (of which Int'l Joint Research: 10 results,  Invited: 5 results) Book (1 results) Remarks (1 results)

  • [Journal Article] Recognition of Mixture Vapors using SERS Gas Sensor Fabricated by the Sputtering Method2024

    • Author(s)
      Chen Lin、Chen Bin、Matsuo Takuya、Sassa Fumihiro、Hayashi Kenshi
    • Journal Title

      IEEE Sensors Journal

      Volume: - Issue: 10 Pages: 15773-15783

    • DOI

      10.1109/jsen.2024.3383053

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Visualization of the Gas Spatial Distribution of the Odor Source by SERS Gas Sensor2024

    • Author(s)
      Chen Lin、Guo Hao、Matsuo Takuya、Sassa Fumihiro、Hayashi Kenshi
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 19 Issue: 5 Pages: 876-881

    • DOI

      10.1002/tee.23988

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Two-Dimensional SERS Sensor Array for Identifying and Visualizing the Gas Spatial Distributions of Two Distinct Odor Sources2024

    • Author(s)
      Chen Lin、Guo Hao、Wang Cong、Chen Bin、Sassa Fumihiro、Hayashi Kenshi
    • Journal Title

      Sensors

      Volume: 24 Issue: 3 Pages: 790-790

    • DOI

      10.3390/s24030790

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] An Odor Trace Visualization System Using a Two-Dimensional Backside Scattering Localized Surface Plasmon Resonance Gas Sensor2023

    • Author(s)
      Yang Zhongyuan、Sassa Fumihiro、Hayashi Kenshi
    • Journal Title

      Sensors

      Volume: 23 Issue: 23 Pages: 9525-9525

    • DOI

      10.3390/s23239525

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Spatiotemporal Visualization of Gases Using 2-D LSPR Gas Sensor2023

    • Author(s)
      Matsuoka Masato、Lingpu Ge、Sassa Fumihiro、Hayashi Kenshi
    • Journal Title

      IEEE Sensors Letters

      Volume: 7 Issue: 9 Pages: 1-4

    • DOI

      10.1109/lsens.2023.3301847

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Subpixel Patterned LSPR Gas Sensor Array With Using Inkjet Printing Au/Ag Nanoparticle to Enhance the Selectivity2023

    • Author(s)
      Jiang Tianshu、Ye Xiao、Ge Lingpu、Guo Hao、Sassa Fumihiro、Hayashi Kenshi
    • Journal Title

      IEEE Sensors Letters

      Volume: 7 Issue: 9 Pages: 1-4

    • DOI

      10.1109/lsens.2023.3300820

    • Related Report
      2023 Annual Research Report 2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Extract Spatial Distribution of a Specific Gas from Mixed Gas Data Measured by the LSPR Gas Sensor2023

    • Author(s)
      Zheng Xiaofan、Matsuoka Masato、Hayashi Kenshi、Tomiura Yoichi
    • Journal Title

      Proc. IEEE Sensors

      Volume: - Pages: 1-4

    • DOI

      10.1109/sensors56945.2023.10324923

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Revelation and analysis of optical phase delay exhibited by Al-doped 4H-SiC due to current induction2023

    • Author(s)
      H. Du, H. Takeda, T. Kadowaki, N. Tate, T. Kawazoe, Y. Oki, M. Ohtsu, K. Hayashi
    • Journal Title

      2023 Conference on Lasers and Electro-Optics Europe & European Quantum Electronics Conference (CLEO/Europe-EQEC)

      Volume: -

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Gas/Odor Source Localization Robots and Gas Distribution Measurement2023

    • Author(s)
      石田 寛、松倉 悠
    • Journal Title

      The Japanese Journal of Taste and Smell Research

      Volume: 30 Issue: 1 Pages: 15-22

    • DOI

      10.18965/tasteandsmell.30.1_15

    • ISSN
      1340-4806, 2424-1326
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Monomer and Excimer Emission in Electrogenerated Chemiluminescence of Pyrene and 2,7-Di-tert-butylpyrene Associated with Electron Transfer Distance2023

    • Author(s)
      Ryoichi Ishimatsu, Shuya Tashiro, Koji Nakano
    • Journal Title

      The Journal of Physical Chemistry B

      Volume: 127 Issue: 43 Pages: 9346-9355

    • DOI

      10.1021/acs.jpcb.3c05602

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Fully Inkjet-Printed Chemiresistive Sensor Array Based on Molecularly Imprinted Sol?Gel Active Materials2022

    • Author(s)
      Ye Xiao、Ge Lingpu、Jiang Tianshu、Guo Hao、Chen Bin、Liu Chuanjun、Hayashi Kenshi
    • Journal Title

      ACS Sensors

      Volume: 7 Issue: 7 Pages: 1819-1828

    • DOI

      10.1021/acssensors.2c00093

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Simulating a Gas Source Localization Algorithm with Gas Dispersion Produced by Recorded Outdoor Wind2022

    • Author(s)
      Haratsu Takumi、Sakaue Motoki、Matsukura Haruka、Neumann Patrick P.、Ishida Hiroshi
    • Journal Title

      Lecture Notes in Networks and Systems

      Volume: 590 Pages: 105-116

    • DOI

      10.1007/978-3-031-21062-4_9

    • ISBN
      9783031210617, 9783031210624
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Learning from the Past: Sequential Deep Learning for Gas Distribution Mapping2022

    • Author(s)
      Winkler Nicolas P.、Kotlyar Oleksandr、Schaffernicht Erik、Fan Han、Matsukura Haruka、Ishida Hiroshi、Neumann Patrick P.、Lilienthal Achim J.
    • Journal Title

      Lecture Notes in Networks and Systems

      Volume: 590 Pages: 178-188

    • DOI

      10.1007/978-3-031-21062-4_15

    • ISBN
      9783031210617, 9783031210624
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Development of a facile time-resolved spectroelectrochemical method: An application to determine the rate constant of protonation for anions of 9,10-diphenylanthracene, biphenyl, and p-quaterphenyl2022

    • Author(s)
      Ryoichi Ishimatsu, Yoshie Furukawa, Koji Nakano,
    • Journal Title

      Journal of Electroanalytical Chemistry

      Volume: 921 Pages: 116684-116684

    • DOI

      10.1016/j.jelechem.2022.116684

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] Visualization of Odor using 2D LSPR/SERS gas sensor2024

    • Author(s)
      K. Hayashi
    • Organizer
      APCOT (Asia-Pacific Conference of Transducers and Micro-Nano Technology)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Visualization of Odor Space with 2D plasmonic Sensor2024

    • Author(s)
      K. Hayashi
    • Organizer
      IEEE NEMS 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Mobile Robot Olfaction: Recent Advancements and Future Directions2024

    • Author(s)
      H. Matsukura, H. Ishida
    • Organizer
      IEEE NEMS 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Spectral-Polarization-Selective Magneto-Optical Effect by Al-doped 4H-SiC Device with DPP-Assisted Annealing2024

    • Author(s)
      H. Du, T. Kadowaki, N. Tate, T. Kawazoe, Y. Oki, M. Ohtsu, K. Hayashi
    • Organizer
      CLEO 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] フレキシブル基板を用いたAu/Agナノ粒子LSPRガスセンサの作製及び応用2024

    • Author(s)
      G. Heo・熊副, 松岡, L. Gu, 佐々, 林
    • Organizer
      電気学会全国大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] IEEE International Conference on Robotics and Automation2023

    • Author(s)
      H. Ishida, H. Matsukura: Olfactory landscape of the world and challenges to digitize them
    • Organizer
      Workshop on Unconventional spatial representations, Opportunities for robotics
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] VISUALIZATION OF GAS SPATIOTEMPORAL DISTRIBUTION USING 2D LSPR GAS SENSOR2023

    • Author(s)
      M. Matsuoka, L. Ge, F. Sassa, K. Hayashi
    • Organizer
      Transducers'23
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] VISUALIZATION OF ODOR SOURCE LOCALIZATION REALIZED BY SERS GAS SENSOR2023

    • Author(s)
      L. Chen, H. Guo, T. Matsuo, F. Sassa, K. Hayashi
    • Organizer
      Transducers'23
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Toward robust robotic gas source localization in outdoor environments: Testing search Algorithms with real outdoor wind spectrum2023

    • Author(s)
      T. Haratsu, M. Sakaue, H. Matsukura, P. P. Neumann, H. Ishida
    • Organizer
      IEEE Sensors Conference
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gas source localization in outdoor environment using spatially distributed gas sensor array and deep neural network2023

    • Author(s)
      H. Matsukura, Y. Takahashi, M. Sakaue, H. Ishida
    • Organizer
      9th International Conference on Manufacturing, Machine Design and Tribology
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 色素カップリング2次元LSPRガスセンサによる匂いの識別と流れの可視化2023

    • Author(s)
      大廣, 松岡, 佐々, 林
    • Organizer
      電気学会ケミカルセンサ研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ガスセンシング用ドローンの開発―斜面におけるガス巻き上げ効果の検討―2023

    • Author(s)
      長谷川, 吉田, 山下, 松倉, 石田
    • Organizer
      電気学会全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 深層学習を用いた屋外環境における自動ガス源探索―入力するデータ長の最適化―2023

    • Author(s)
      趙高, 松倉, 石田
    • Organizer
      電気学会全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Novel magneto-optical effect exhibited by Al-doped 4H-SiC2023

    • Author(s)
      H. Du, T. Kadowaki, N. Tate, T. Kawazoe, Y. Oki, M. Ohtsu, K. Hayashi
    • Organizer
      13th Japan-Korea Workshop on Digital Holography and Information Photonics (DHIP2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] SiC空間光変調素子が示す磁気光学効果の波長依存性の評価2023

    • Author(s)
      杜,竹田,門脇,竪,川添,興,大津,林
    • Organizer
      日本光学会年次学術講演会 Optics & Photonics Japan, 28pE5
    • Related Report
      2022 Annual Research Report
  • [Presentation] ポリドーパミン生成に基づくELISA法の開発2023

    • Author(s)
      石松,Y. Sumed,中野
    • Organizer
      第83回分析化学討論会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ピロール-イミダゾールポリアミドの機能性色素コンジュゲート形成によるDNA二重らせんの蛍光/リン光分析試薬の研究2023

    • Author(s)
      花山,中野,石松
    • Organizer
      第83回分析化学討論会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Visualization of Odor with Hyperspectral Imaging of 2D Plasmonic Device2022

    • Author(s)
      K. Hayashi
    • Organizer
      JAC-ECC (International Japan-Africa Conference on Electronics, Communications and Computations)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 深層ニューラルネットワークを利用したガス分布マップの超解像計測に関する基礎的研究2022

    • Author(s)
      N. P. Winkler, 松倉, P. P. Neumann, E. Schaffernicht, 石田, A. J. Lilienthal
    • Organizer
      センサシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 差分表面増強ラマン散乱によるVOCの検知と識別2022

    • Author(s)
      松尾, 陳, 佐々, 林
    • Organizer
      センサシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 匂いセンサシステムによる人の行動検知2022

    • Author(s)
      于, 葛, 佐々, 林
    • Organizer
      センサシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] 自己修復型ケミレジスタガスセンサに向けた自動修復液供給機構の開発2022

    • Author(s)
      武居, 佐々, 林
    • Organizer
      センサシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Book] 雑誌香料:匂いの質と空間の計測・予測・可視化2023

    • Author(s)
      林, 劉, 冨浦
    • Total Pages
      9
    • Publisher
      日本香料協会
    • Related Report
      2023 Annual Research Report
  • [Remarks] 有機電子デバイス研究室

    • URL

      https://o.ed.kyushu-u.ac.jp/

    • Related Report
      2023 Annual Research Report 2022 Annual Research Report

URL: 

Published: 2022-04-28   Modified: 2025-04-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi