Research on construction of agricultural machinery accident prevention system using SoC FPGA

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K05856
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 41040:Agricultural environmental engineering and agricultural information engineering-related
• Research Institution: Tomakomai National College of Technology
• Principal Investigator: Inagawa Kiyoshi 苫小牧工業高等専門学校, 創造工学科, 教授 (80213114)
• Co-Investigator(Kenkyū-buntansha): 山本 椋太 苫小牧工業高等専門学校, 創造工学科, 准教授 (80898940)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: FPGA / エッジAI / ステレオビジョン処理

Outline of Final Research Achievements

In this research, various studies were conducted assuming "a system that captures images of agricultural machinery and farm workers using stereo cameras, processes the images using SoC FPGAs, and uses edge AI on SoC FPGAs to detect human bodies and sense danger.
Specifically,(1) Stereo vision processing IP was implemented in SoC FPGA, and the use of widely used HDMI was considered as an interface to send the output from the stereo vision camera to the FPGA board on the inference processing side (edge side). (2) Basic studies on collection of training data and processing of training data for building edge AI, and implementation of danger judgment in Python, C language, and hardware on SoC FPGA were conducted.

Free Research Field

計算機ハードウェア

Academic Significance and Societal Importance of the Research Achievements

概要(1)については、方向符号画像、視差画像等のVGA出力を可能とした。また、撮影環境の照度に応じてステレオカメラのゲインを自動で調整する機能等を実装した。概要(2)については、人体検知を行うシステムについて，機械学習からHWの設計まで，人体検知に利用する手の検出処理をFPGA向けに設計した．特に，HW設計に関しては，高速化を施さない場合には畳み込み層の実行性能が悪くなることがわかり，プーリング層は高速化できることがわかった．また，全結合層はHW化が困難となることがわかった．
以上より、「SoC FPGA上のエッジAIで人体検知・危険感知を行うシステム」の実現に向けての各種知見を得た。