Assistance for People with Visual Impairment by Recognizing Surrounding Information Using an Omnidirectional Camera

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01803
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Intelligent robotics
• Research Institution: Osaka Prefecture University
• Principal Investigator: Iwamura Masakazu 大阪府立大学, 大学院工学研究科, 准教授 (80361129)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 視覚障害者 / 全方位カメラ / 視覚情報 / 物体検出 / 捜し物 / 深層学習

Outline of Final Research Achievements

In this research, we attempted to extend the conventional assistive system for the visually impaired, which allows a computer to recognize text and objects. The conventional systems have the implicit assumption that the target object or text to be recognized is right in front of the user. However, what a visually impaired person wants to know is not limited to be in front of the person. Therefore, we proposed an assistive system for "looking for something" using an omnidirectional camera as an example of a framework that can recognize objects whose location is unknown to the user. In this context, we confirmed that the omnidirectional camera is easier to use than the conventional smartphone-type camera through experiments with visually impaired people. We also proposed a regularization method called ShakeDrop for deep learning to improve the recognition accuracy of object recognition.

Free Research Field

パターン認識、視覚障害者支援

Academic Significance and Societal Importance of the Research Achievements

コンピュータに文字や物体を認識させて視覚障害者の目の代替を目指す試みが盛んになっている。既存の方法は、利用者である視覚障害者が目の前にあるものをスマートフォン付属のカメラで撮影して、それが何であるかを伝えるものが主流である。しかし、視覚障害者が知りたいものは目の前にあるものだけに限らないのではないか。この考えから、周囲が一度に撮影できる全方位カメラを用いたシステムを考案した。しかし、撮影範囲が増えると、認識で得られる情報も増える。時として膨大な認識結果を全て視覚障害者に伝えれば、逆に混乱を招く恐れがある。そこで本研究では、全方位カメラを用いる場合のより良い認識結果の提示方法などを検討した。