Real-time sign language recognition system inspired by spatio-temporal characteristics of the visual nervous system
| Project/Area Number |
19K12916
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90150:Medical assistive technology-related
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | ニューロモーフィック / 画像処理 / ロボットビジョン / 手話認識 / 人工知能 / 視覚神経 / ジェスチャー認識 |
|---|
| Outline of Research at the Start |
本研究では，手話やジェスチャー等の動き情報の識別を，リアルタイムで行える小型・低消費電力なシステムの開発を行う．具体的には，脳の視覚野の神経回路モデルを電子回路化することにより，効率的な時空間視覚特徴抽出を実現し，スパイキング・ニューラルネットワーク（神経の時間特性も模擬したニューラルネットワーク）を電子回路化することにより，時空間特徴のリアルタイムでの識別を実現する．
|
| Outline of Final Research Achievements |
In the present study, we developed algorithms that extracts particular visual features to achieve efficient sign language and object recognition, and implemented the algorithm into a digital circuit. We also investigated the recognition accuracy when the algorithm was employed. This algorithm was inspired by the visual nervous system that achieves efficient spatio-temporal visual feature extraction and vision-based recognition. The results of this study showed that the use of this visual feature improves accuracy of hand sign and object classification.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究の成果は，視覚神経系の学んだ視覚特徴量の利用によって，比較的小規模なニューラルネットワークでも高い識別精度が得られること，並びにこの特徴量抽出回路が，限られた回路規模で実現できることを示した．この結果は，エッジデバイスでの人工知能の運用を加速させるものである．近年目覚ましい成果を上げてきた深層学習をベースとした人工知能は，処理負荷が大きい大規模なニューラルネットワークの利用を前提としているため，処理能力が乏しいエッジデバイスでの運用は制限されてきた．本研究で得られた特徴抽出回路と検証結果は，この状況を改善するものである．
|
Report
(5 results)
Research Products
(45 results)
