| Project/Area Number |
21K05856
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 41040:Agricultural environmental engineering and agricultural information engineering-related
|
|---|
| Research Institution | Tomakomai National College of Technology |
|---|
Principal Investigator |
Inagawa Kiyoshi 苫小牧工業高等専門学校, 創造工学科, 教授 (80213114)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山本 椋太 苫小牧工業高等専門学校, 創造工学科, 准教授 (80898940)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | FPGA / エッジAI / ステレオビジョン処理 / 高位合成 / インターフェース / OCM |
|---|
| Outline of Research at the Start |
本研究では、「ステレオカメラで農業機械および農作業従事者を撮影し、SoC FPGAを用いて、その撮影画像をステレオビジョン処理する。さらに、SoC FPGA上のエッジAIで人体検知・危険感知を行い、その結果を、農業機械に送り機械を停止するとともに、無線LAN等を通じて危険の発生とその状況を通知する」システムについて検討する。
構築したシステムをもとに、「ICTが農業における危険感知・防止へ、どの程度貢献できるか」を検討し、農業機械の作業中の事故低減に寄与する知見を得る。
|
| Outline of Final Research Achievements |
In this research, various studies were conducted assuming "a system that captures images of agricultural machinery and farm workers using stereo cameras, processes the images using SoC FPGAs, and uses edge AI on SoC FPGAs to detect human bodies and sense danger.
Specifically,(1) Stereo vision processing IP was implemented in SoC FPGA, and the use of widely used HDMI was considered as an interface to send the output from the stereo vision camera to the FPGA board on the inference processing side (edge side). (2) Basic studies on collection of training data and processing of training data for building edge AI, and implementation of danger judgment in Python, C language, and hardware on SoC FPGA were conducted.
|
| Academic Significance and Societal Importance of the Research Achievements |
概要(1)については、方向符号画像、視差画像等のVGA出力を可能とした。また、撮影環境の照度に応じてステレオカメラのゲインを自動で調整する機能等を実装した。概要(2)については、人体検知を行うシステムについて，機械学習からHWの設計まで，人体検知に利用する手の検出処理をFPGA向けに設計した．特に，HW設計に関しては，高速化を施さない場合には畳み込み層の実行性能が悪くなることがわかり，プーリング層は高速化できることがわかった．また，全結合層はHW化が困難となることがわかった．
以上より、「SoC FPGA上のエッジAIで人体検知・危険感知を行うシステム」の実現に向けての各種知見を得た。
|
