Robotic vision system inspired by biological fixational eye movements

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K19895
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: YASUKAWA Shinsuke 九州工業大学, 大学院生命体工学研究科, 准教授 (90837973)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 固視微動 / ロボットビジョン / 視覚情報処理 / 視覚制御 / 眼球運動 / 高速ビジョン / イベント駆動型カメラ

Outline of Final Research Achievements

By using not only sampled spatial information of the external world at a certain time, but also spatiotemporal information obtained by actively using eye movements, it may be possible to achieve imaging performance that exceeds the hardware limit of the image sensor alone. As a platform for verification, we developed a robot vision system whose main component is an optical eye control device that can simulate fixational eye movements of a biological vision. As a platform for verification, we developed a robot vision system whose main component is an optical eye control device that can simulate fixational eye movements of a biological vision. In addition, we proposed a new computational model of retinal neural circuits as a basic study of visual encoding by the eye-visual neural cooperative system, and confirmed its basic operation by software simulation.

Free Research Field

神経模倣工学, ロボティクス

Academic Significance and Societal Importance of the Research Achievements

生体の視覚系は、視覚情報を実時間で効率よく処理することに長けており、これまで網膜神経回路網に学んだ複数の生体規範型イメージセンサが研究開発されてきた。どのようなイメージセンサであれ、デジタル画像を取得する際に標本化定理に基づいた空間周波数の制限によってエイリアシングと呼ばれる現象が生じる恐れがある。申請者はこのような標本化の制限を打破するアプローチとして固視微動と視覚神経系の協働処理に着目して研究を実施した。本研究成果を更に発展させ、眼球運動や身体運動を考慮した生体視覚系の情報符号化法の理解を深めることで、上記の課題を解決する新たなスパイク出力型カメラの設計指針を得ようと考えている。