SoC FPGAを用いた農業機械事故防止システム構築に関する研究

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K05856
• Research Institution: Tomakomai National College of Technology
• Principal Investigator: 稲川 清 苫小牧工業高等専門学校, 創造工学科, 教授 (80213114)
• Co-Investigator(Kenkyū-buntansha): 山本 椋太 苫小牧工業高等専門学校, 創造工学科, 助教 (80898940)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: ステレオビジョン処理 / FPGA / エッジAI / インターフェース / OCM

Outline of Annual Research Achievements

北海道立総合研究機構工業試験場で開発したリアルタイムステレオビジョンセンサに搭載されているステレオビジョン処理 IP(以下、IP)をFPGAに実装した。このIPでは、ステレオ画像処理における対応点探索手法として、遮蔽や明度の変動などに対して高いロバスト性を有する方向符号照合法(OCM)を用いている。FPGAには、IPで使用しているライブラリィの関係から、Intel 社 Cyclone V SoC を用いた。具体的には、ステレオ画像の入力部を含む、物体検出の元となる視差画像出力システムの構築し、スルー画像(元画像)、方向符号画像、評価値マップ、視差画像のVGA出力を可能とした。 　さらに、一定の距離以内に進入した物体の検出に関する検討、照度センサを用い、撮影環境の照度に応じてステレオカメラのゲインを自動で調整する方法も検討した。
本研究では、推論部とステレオビジョンカメラの画像処理部分の2段構成でFPGAを構成することを検討している。これによって、問題の切り分け（ステレオビジョンカメラの処理の様子とAIによる処理の様子を分けて取得する）が可能となり、開発成果物を今後も応用していくことが容易になると考えている。この利点を活かすため、ステレオビジョンカメラの出力を推論処理側（エッジ側）のFPGAボードに送信するためのインタフェースとして，広く利用されているHDMIの利用を検討してきた．HDMIの入力を受け取り、ハードウェアおよびソフトウェアのいずれからも処理を行うことが可能なハードウェアの設計を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

世界的な半導体不足の影響を受け、開発用ワークステーションの納入が令和4年1月にずれ込んだこと。また、同様に世界的な半導体不足の影響で、Intel、XilinxともFPGA開発ボードが品薄となり、本格的な検討に使用するFPGA開発ボードが入手できなかったことが、主な理由として挙げられる。これらに加えて、本務である教育業務において、新型コロナウィルス関連の対応に時間を取られ、研究進捗に充てられる時間が削られたことも理由として挙げられる。

Strategy for Future Research Activity

まず、機器導入の遅延の影響を受け進捗が遅れている、ステレオビジョンセンサSoC FPGAと後段のエッジAI用SoC FPGAへのインターフェースの検討を完了させる。
次に、後段のSoC FPGAに実装するエッジAIの検討を行う。高精度な人体検出・危険感知を行うために、前段のステレオビジョンセンサSoCFPGAと連携したエッジAIをFPGAに実装する必要がある。エッジAIは、高速性の点ではハードウェアによる実装が望ましいが、機能性、精度、柔軟性の点ではソフトウェアによる実装が望ましい。この点を踏まえて、今後の研究では、まず、エッジAI構築のための学習データの収集と学習データの加工を行い、人体検出・危険感知を行うAIのプロトタイプを作成する。同時に、SoCFPGAを用いたハードウェアによる実装を念頭に、エッジAIをハードウェア化するための高位合成による実装を考慮したAIの学習環境の検討と学習手法の検討を行う。
その後、SoCFPGA上への人体検出・危険感知のためのエッジAI構築に関する検討を行うとともに、SoC FPGA上での、エッジAIの処理の分散化と、ハードウェア・ソフトウェア協調処理に関する検討を行う。
当初の見込みよりも、エッジAIの構築に関する作業量が増える見込みとなったため、OCMにおける明度等の天候に関わる条件、撮影対象の色や形状の条件等の視差画像への影響の検討、SoCFPGAのHPSにおける外部との通信処理に関する検討は、可能であれば着手するオプション項目とする。

Causes of Carryover

世界的な半導体不足の影響で、処理後段のエッジAI用FPGA開発ボードが入手できなかった。今年度は、早急にFPGA開発ボードを選定、発注する。また、新型コロナウイルス感染拡大のため、出張ができなかった。2022年度は、感染状況を見つつ出張を行う予定である。