Generic Object Recognition System using Deep Learning with Depth Images for Service Robots
| Project/Area Number |
19J11593
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
吉元 裕真 九州工業大学, 生命体工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2019-04-25 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥2,100,000 (Direct Cost: ¥2,100,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2019: ¥1,100,000 (Direct Cost: ¥1,100,000)
|
|---|
| Keywords | 物体認識システム / ニューラルネットワーク / ホームサービスロボット / ハードウェア実装 / FPGA |
|---|
| Outline of Research at the Start |
本研究の目的は，ホームサービスロボットのための一般物体認識アルゴリズムの実現である．一般物体認識とは，複数の物体が映っている画像から，物体の位置・サイズとクラスを認識することである．高速なアルゴリズムとしてYou Only Look Once（YOLO）がある．
しかしYOLOには(1)物体の位置・サイズの検出精度が低い(2)YOLOの主要な実装手法であるGPUは高消費電力，高発熱のためロボットに不向きという問題がある．
そこで本研究では(1) YOLOで使われているRGB画像に加え，Depth画像を用いるアルゴリズムを開発し，(2)GPUよりも低消費電力，低発熱で動作可能なFPGAへ実装する．
|
| Outline of Annual Research Achievements |
ホームサービスロボット向け物体認識システムの高性能化を目的とし(a)高精度化のためのDual Stream Convolutional Neural Network (DS-CNN) の実現，(b)高速化・低消費電力化のためのDS-CNNのハードウェア実装の2つを提案した．計画では物体認識CNNである You Only Look Once (YOLO) を対象に [1]提案ネットワークであるMDS-YOLOの実現，[2]MDS-YOLOのハードウェア実装，[3]ハードウェア実装MDS-YOLOのロボットへの搭載を行うとした．学振として採用後，中原らによってYOLOのFPGA実装が実現されていると分かった．そこで本研究では最重要な項目(a)(b)に注力した．このために，多くの研究でベースラインとされるVGG-16を対象に計画を遂行し，併せてデータセット生成手法を提案した．項目[1]ではDS構造でハードウェア指向な「Binarized DS-VGG16 Tiny (BDS-VGG16 Tiny)」を提案し，Binarized VGG-16に比べ4.7%精度を改善した．項目[2]ではBDS-VGG16 Tinyをハードウェア実装し，CPU実装に比べて約4.7倍の高速化と約20倍の電力効率化を実現した．項目[3]ではBDS-VGG16 Tinyとロボット用ミドルウェアを接続し，リアルタイム物体認識システムを構築した．以上の成果はJournal of Robotics and Mechatronicsで採択された．これらの成果と中原らの提案手法を組み合わせることでMDS-YOLOが実現できる．次に計画にはなかったデータセット手法を提案した．RGB画像データセットの半自動生成手法を提案し，YOLOに有効だと確認した．またDS-CNN用に拡張可能である．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(5 results)
