• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Real-time sign language recognition system inspired by spatio-temporal characteristics of the visual nervous system

Research Project

Project/Area Number 19K12916
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 90150:Medical assistive technology-related
Research InstitutionOsaka Institute of Technology

Principal Investigator

Okuno Hirotsugu  大阪工業大学, 情報科学部, 准教授 (30531587)

Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywordsニューロモーフィック / 画像処理 / ロボットビジョン / 手話認識 / 人工知能 / 視覚神経 / ジェスチャー認識
Outline of Research at the Start

本研究では,手話やジェスチャー等の動き情報の識別を,リアルタイムで行える小型・低消費電力なシステムの開発を行う.具体的には,脳の視覚野の神経回路モデルを電子回路化することにより,効率的な時空間視覚特徴抽出を実現し,スパイキング・ニューラルネットワーク(神経の時間特性も模擬したニューラルネットワーク)を電子回路化することにより,時空間特徴のリアルタイムでの識別を実現する.

Outline of Final Research Achievements

In the present study, we developed algorithms that extracts particular visual features to achieve efficient sign language and object recognition, and implemented the algorithm into a digital circuit. We also investigated the recognition accuracy when the algorithm was employed. This algorithm was inspired by the visual nervous system that achieves efficient spatio-temporal visual feature extraction and vision-based recognition. The results of this study showed that the use of this visual feature improves accuracy of hand sign and object classification.

Academic Significance and Societal Importance of the Research Achievements

本研究の成果は,視覚神経系の学んだ視覚特徴量の利用によって,比較的小規模なニューラルネットワークでも高い識別精度が得られること,並びにこの特徴量抽出回路が,限られた回路規模で実現できることを示した.この結果は,エッジデバイスでの人工知能の運用を加速させるものである.近年目覚ましい成果を上げてきた深層学習をベースとした人工知能は,処理負荷が大きい大規模なニューラルネットワークの利用を前提としているため,処理能力が乏しいエッジデバイスでの運用は制限されてきた.本研究で得られた特徴抽出回路と検証結果は,この状況を改善するものである.

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (45 results)

All 2023 2022 2021 2020 2019 Other

All Journal Article (6 results) (of which Peer Reviewed: 2 results) Presentation (37 results) (of which Int'l Joint Research: 14 results,  Invited: 6 results) Remarks (2 results)

  • [Journal Article] A Visual Feature Detection Algorithm Inspired by Spatio-Temporal Properties of Visual Neurons2021

    • Author(s)
      Eisaku Horiguchi, Hirotsugu Okuno
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 13111 Pages: 634-643

    • DOI

      10.1007/978-3-030-92273-3_52

    • ISBN
      9783030922726, 9783030922733
    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] FPGA implementation of an algorithm that enables color constancy2020

    • Author(s)
      Kento Misaka and Hirotsugu Okuno
    • Journal Title

      Proceedings of the 2020 IEEE/SICE International Symposium on System Integration

      Volume: NA Pages: 991-995

    • DOI

      10.1109/sii46433.2020.9025949

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] 照明色・強度に影響されない色情報符号化アルゴリズムのFPGA実装2020

    • Author(s)
      三阪健人,奥野弘嗣
    • Journal Title

      ロボティクス・メカトロニクス 講演会 2019 講演論文集

      Volume: NA

    • NAID

      130007775097

    • Related Report
      2019 Research-status Report
  • [Journal Article] 色恒常性カメラ画像を用いた物体識別2020

    • Author(s)
      田中靖浩,西口敏司,三阪健人,奥野弘嗣
    • Journal Title

      画像の認識・理解シンポジウム 2019 Extended Abstract

      Volume: NA

    • Related Report
      2019 Research-status Report
  • [Journal Article] ガウシアンフィルタを活用した効率的なオプティカルフロー検出アルゴリズム2020

    • Author(s)
      黒瀬大輝,奥野弘嗣
    • Journal Title

      画像の認識・理解シンポジウム 2019 Extended Abstract

      Volume: NA

    • Related Report
      2019 Research-status Report
  • [Journal Article] 小脳スパイキングニューラルネットワークモデルのFPGA実装2020

    • Author(s)
      進士裕介,奥野弘嗣,平田 豊
    • Journal Title

      信学技報

      Volume: 119 Pages: 7-12

    • Related Report
      2019 Research-status Report
  • [Presentation] Increasing Selectivity to a Feature Combination Using Inhibitory Synaptic Plasticity in a Spiking Neural Network2023

    • Author(s)
      Mahiro Ikeda and Hirotsugu Okuno
    • Organizer
      International Conference on Artificial Life and Robotics 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Binocular Disparity Estimation Algorithm Using Multiple Spatial Frequency Information and a Neural Network2023

    • Author(s)
      Ryoka Sato and Hirotsugu Okuno
    • Organizer
      International Conference on Artificial Life and Robotics 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Figure-Ground Discrimination Algorithm Inspired by Border-Ownership Selective Cells2023

    • Author(s)
      Tomoya Kobayashi and Hirotsugu Okuno
    • Organizer
      International Conference on Artificial Life and Robotics 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] SNNにおける抑制性シナプス可塑性を用いた組み合わせ特徴に対する選択性の向上2022

    • Author(s)
      池田真宏,奥野弘嗣
    • Organizer
      画像の認識・理解シンポジウム 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 複数の空間周波数情報と機械学習を用いた両眼視差推定アルゴリズム2022

    • Author(s)
      佐藤遼河,奥野弘嗣
    • Organizer
      画像の認識・理解シンポジウム 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] Border-ownership選択性細胞の応答特性に学んだ図地分離アルゴリズム2022

    • Author(s)
      小林智哉,奥野弘嗣
    • Organizer
      画像の認識・理解シンポジウム 2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 視覚神経系の特性を模擬する時空間フィルタ回路2022

    • Author(s)
      山地勇樹,奥野弘嗣
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] ボールフィルタをCNNの前処理として用いた画像識別2022

    • Author(s)
      森田耀仁,奥野弘嗣
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 視覚神経系に学んだ人工知能開発2022

    • Author(s)
      奥野弘嗣
    • Organizer
      応用物理学会 トータルバイオミメティクス研究グループ 基礎講座
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] The Effect of Preprocessing with Gabor Filters on Image Classification Using CNNs2022

    • Author(s)
      Akito Morita, Hirotsugu Okuno
    • Organizer
      International Conference on Artificial Life and Robotics 2022
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] An Image Coding Algorithm with Color Constancy Using the Retinex Theory and the Naka-Rushton Equation2022

    • Author(s)
      Shota Hisamitsu, Hirotsugu Okuno
    • Organizer
      International Conference on Artificial Life and Robotics 2022
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Fast Image Sensor System with an Efficient Multi-Scale Gaussian Filtering Circuit2022

    • Author(s)
      Yuki Yamaji, Akito Morita, Hirotsugu Okuno
    • Organizer
      International Conference on Artificial Life and Robotics 2022
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Artificial cerebellum implemented on an FPGA for real-time adaptive motor control2022

    • Author(s)
      Yusuke Shinji, Hirotsugu Okuno, Yutaka Hirata
    • Organizer
      The 10th RIEC International Symposium on Brain Functions and Brain Computer
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 視覚神経の時空間応答特性に学んだリアルタイム両眼視差検出システム2021

    • Author(s)
      林慎大郎,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会 2021
    • Related Report
      2021 Research-status Report
  • [Presentation] Michaelis-Menten式とRetinex理論に基づく色恒常性を備えたイメージセンサシステム2021

    • Author(s)
      久光祥太,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会 2021
    • Related Report
      2021 Research-status Report
  • [Presentation] 視覚神経系に学んだ時空間特徴量抽出アルゴリズムのFPGA実装2021

    • Author(s)
      山地勇樹,堀口栄作,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会 2021
    • Related Report
      2021 Research-status Report
  • [Presentation] A Visual Feature Detection Algorithm Inspired by Spatio-Temporal Properties of Visual Neurons2021

    • Author(s)
      Eisaku Horiguchi, Hirotsugu Okuno
    • Organizer
      International conference on Neural Information Processing 2021
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] A binocular disparity detection algorithm inspired by the spatio-temporal properties of binocular cells2021

    • Author(s)
      Shintao Hayashi, Hiroto Kajihara, Hirotsugu Okuno
    • Organizer
      International Symposium on Artificial Life and Robotics
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] A spatio-temporal feature extraction algorithm that simulates a physiological model of a neuron in the early visual cortex2021

    • Author(s)
      Eisaku Horiguchi and Hirotsugu Okuno
    • Organizer
      International Symposium on Artificial Life and Robotics
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Motion and shape classification using spiking neural network2021

    • Author(s)
      Akito Morita, Totshiki Yamada, Hirotsugu Okuno
    • Organizer
      International Symposium on Artificial Life and Robotics
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] FPGA実装した人工小脳によるモータ適応制御2020

    • Author(s)
      進士裕介,奥野弘嗣,平田豊
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] 昆虫視覚系の運動検出器モデルと Echo State Network を用いた人の動き分類2020

    • Author(s)
      森田耀仁,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] テクスチャ境界を対応点探索に利用できる神経模倣両眼立体視システム2020

    • Author(s)
      林慎大郎,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] 視覚神経系に学んだ時空間特徴量とリザバーコンピューティングを活用したジェスチャー識別2020

    • Author(s)
      末永裕哉,笠垣諒,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] オプティカルフローと Echo State Network を用いたドローンの運動状態推定2020

    • Author(s)
      黒瀬大輝,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] 生体視覚野細胞の時空間応答特性を模擬した視覚特徴量抽出アルゴリズム2020

    • Author(s)
      堀口栄作,森田耀仁,奥野弘嗣
    • Organizer
      画像の認識・理解シンポジウム 2020
    • Related Report
      2020 Research-status Report
  • [Presentation] FPGAを活用した視覚神経模倣ロボットビジョンシステム2020

    • Author(s)
      奥野弘嗣
    • Organizer
      電子情報通信学会ソサイエティ大会
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] 視覚神経系における処理のロボットビジョン実装2020

    • Author(s)
      奥野弘嗣
    • Organizer
      バイオミメティック情報処理の最前線~基礎研究から社会実装への道のり~
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] 生体視覚神経系に学んだ画像処理システム2020

    • Author(s)
      奥野弘嗣
    • Organizer
      電気関係学会関西連合大会
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] Artificial cerebellum running on an FPGA2020

    • Author(s)
      Yusuke Shinji, Hirotsugu Okuno, Yutaka Hirata
    • Organizer
      Annual International Conference of the IEEE Engineering in Medicine and Biology Society
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] FPGA implementation of an algorithm that enables color constancy2020

    • Author(s)
      Kento Misaka and Hirotsugu Okuno
    • Organizer
      2020 IEEE/SICE International Symposium on System Integration
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 照明色・強度に影響されない色情報符号化アルゴリズムのFPGA実装2019

    • Author(s)
      三阪健人,奥野弘嗣
    • Organizer
      ロボティクス・メカトロニクス 講演会 2019
    • Related Report
      2019 Research-status Report
  • [Presentation] 色恒常性カメラ画像を用いた物体識別2019

    • Author(s)
      田中靖浩,西口敏司,三阪健人,奥野弘嗣
    • Organizer
      画像の認識・理解シンポジウム 2019
    • Related Report
      2019 Research-status Report
  • [Presentation] ガウシアンフィルタを活用した効率的なオプティカルフロー検出アルゴリズム2019

    • Author(s)
      黒瀬大輝,奥野弘嗣
    • Organizer
      画像の認識・理解シンポジウム 2019
    • Related Report
      2019 Research-status Report
  • [Presentation] 小脳スパイキングニューラルネットワークモデルのFPGA実装2019

    • Author(s)
      進士裕介,奥野弘嗣,平田 豊
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] FPGA-based robotic vision systems inspired by the retina and the visual cortex2019

    • Author(s)
      Hirotsugu Okuno
    • Organizer
      International Symposium on Neuromorphic and Non-linear Engineering
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] 生体視覚神経系に学んだロボットビジョン開発2019

    • Author(s)
      奥野弘嗣
    • Organizer
      国際画像機器展2019 国際画像セミナー
    • Related Report
      2019 Research-status Report
    • Invited
  • [Remarks] 研究代表者のWebページ

    • URL

      http://neuro-inspired.org/

    • Related Report
      2022 Annual Research Report
  • [Remarks] 神経模倣システム研究室

    • URL

      http://neuro-inspired.org/index.html

    • Related Report
      2020 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi