SoC FPGAを用いた農業機械事故防止システム構築に関する研究
Project/Area Number |
21K05856
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 41040:Agricultural environmental engineering and agricultural information engineering-related
|
Research Institution | Tomakomai National College of Technology |
Principal Investigator |
稲川 清 苫小牧工業高等専門学校, 創造工学科, 教授 (80213114)
|
Co-Investigator(Kenkyū-buntansha) |
山本 椋太 苫小牧工業高等専門学校, 創造工学科, 助教 (80898940)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
Keywords | FPGA / エッジAI / 高位合成 / ステレオビジョン処理 / インターフェース / OCM |
Outline of Research at the Start |
本研究では、「ステレオカメラで農業機械および農作業従事者を撮影し、SoC FPGAを用いて、その撮影画像をステレオビジョン処理する。さらに、SoC FPGA上のエッジAIで人体検知・危険感知を行い、その結果を、農業機械に送り機械を停止するとともに、無線LAN等を通じて危険の発生とその状況を通知する」システムについて検討する。 構築したシステムをもとに、「ICTが農業における危険感知・防止へ、どの程度貢献できるか」を検討し、農業機械の作業中の事故低減に寄与する知見を得る。
|
Outline of Annual Research Achievements |
システム前段のステレオビジョンセンサSoCFPGAと連携したエッジAIをFPGAに実装するために、エッジAI構築のための学習データの収集と学習データの加工に関する基礎検討を行った。具体的には、雑草地における草刈り機(2種類)と人の手を対象に、学習用の画像データを収集し、それらを用いて、畳み込みニューラルネットワークを構成し、画像の識別精度に関する検討を行った。結果として、(1)識別の精度向上には学習用データセットに手の一部と手の全体の両方の画像を使用することが効果的である。(2)使用する農業機械によって 学習用データセットは組み替える必要がある、等の知見が得られた。 この知見に基づき、現在、Pythonにて実装されている上記のプログラムをC言語にて実装している。C言語で記述することにより、高位合成によってC言語からFPGA向けのHDLを生成することができ、FPGA上での実現が可能となる。そのため、特定のレイヤについては、すでにC言語実装が完了しており、実装に必要なすべてのレイヤの実装を進めているところである。 また、今後、最終的に高速化を施すことを検討しているが、その際にはハードウェアモジュールとしての分割を行うことでスループットを向上することを検討しており、そのためには、ハードウェアモジュール単位でみたときの通信の仕組みが必要となる。具体的には、同期通信と非同期通信、およびバスを介したメモリ(SDRAM)へのアクセスがある。それぞれの通信について、ハードウェアモジュール同士でデータの送受信ができるようになっている。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
現状、進捗としては、やや遅れていると認識している。遅れていると認識している理由は、ステレオビジョンカメラとの接続部分の実現・試行ができていない点、C言語実装が完了していないと認識していることである。前者については、雑草等の生育状況から、春から夏にかけて実施する必要があるが、同じくその時期に実施することが望ましい機械学習を優先した。その結果として、ステレオビジョンカメラの実現・試行に遅れが生じており、また、機械学習部分の知見が得られるまでは、実装コストの問題からC言語実装を先延ばしにしていた状況がある。
|
Strategy for Future Research Activity |
引き続き、システム後段のSoC FPGAに実装するエッジAIの検討を行う。 高精度な人体検出・危険感知を行うために、システム前段のステレオビジョンセンサSoCFPGAと連携したエッジAIをFPGAに実装する必要がある。エッジAIは、高速性の点ではハードウェアによる実装が望ましいが、機能性、精度、柔軟性の点ではソフトウェアによる実装が望ましい。 この点を踏まえて、今年度も、エッジAI構築のための学習データの収集と学習データの加工を行い、人体検出・危険感知を行うAIのプロトタイプを作成する。 高位合成では、C言語による実装ではあるが、ハードウェア設計であるという特性から、記述次第で実行性能や回路面積(コスト)に違いが生じる。そのため、「正常動作するC言語実装」を行った後は、そのC言語実装をベースラインとした高速化や回路リソースの有効活用などを検討していき、事故に気が付ける程度のレイテンシやスループットを実現できるような実装の検討を進めていく。加えて、USBカメラなどで撮影した画像を取り込むため、Linuxとのインタフェースについても検討が必要であり、その部分の実装についても、今年度進めていく予定である。
|
Report
(2 results)
Research Products
(2 results)