2019 Fiscal Year Annual Research Report
Generic Object Recognition System using Deep Learning with Depth Images for Service Robots
| Project/Area Number |
19J11593
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
吉元 裕真 九州工業大学, 生命体工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2019-04-25 – 2021-03-31
|
| Keywords | 物体認識システム / ニューラルネットワーク / ホームサービスロボット / ハードウェア実装 / FPGA |
|---|
| Outline of Annual Research Achievements |
本研究では，ホームサービスロボット向けの高精度なニューラルネットワークを新しく提案し，ハードウェアに実装して高速な物体認識システムの実現を目指す．本研究の実現には，「[1] 提案ニューラルネットワークのソフトウェア上での実現」，「[2]提案ネットワークのハードウェア実装」，「[3]ハードウェアとロボット間の接続システムの開発」の3項目の達成が必要である．本稿では特に項目[1]，[3]について述べる．
まず項目[1]について述べる．本項目について，提案するニューラルネットワークの開発・検証を行うために先にデータセットの生成手法について開発を進めた．RGB画像を対象に自動でアノテーションをする手法を提案・開発し，本手法で用意したデータセットで学習したネットワークがホームサービスロボットで使用可能なことを検証した．また，この成果についてSISA2019にて報告した．
次に項目[3]について述べる．近年ホームサービスロボットの内部システムとしてRobot Operating System（ROS）を用いることが一般的であり，本項目の遂行にはニューラルネットワークが搭載されたハードウェアとROSを接続するシステムの開発が必須である．この開発の前段階として，Binarized VGG-16を搭載したハードウェアとROSを接続するシステムの開発を行った．また，この成果についてICSyS2019にて発表を行った．本発表は同学会でBest Paper Awardを受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
項目[1]ついては１年目の実施項目であったが完了しておらず，この点については遅れがみられる．これは提案ネットワーク開発の前段階として，当初計画に含まれていなかった「検証用データセットの自動生成手法」の開発が必要であり，そちらを先に実施したためである．
一方で，元々２年目に遂行予定だった項目である項目[2]や項目[3]については進展があった．
まず項目[2]について述べる．現在遂行中である提案ネットワークの実現ではソフトウェア検証を行っており，これをハードウェアへ実装するためにはアルゴリズムの再構築が必須である．現在は提案ハードウェアと似た特徴を持ち，より構造が単純で省リソースネットワークを対象にハードウェア実装実験を進めている．本ネットワークのハードウェアへの搭載実験で得た成果を基礎とすることで，提案ネットワークのハードウェアへの実装は当初予定に比べ迅速に達成可能である．
次に項目[3]について述べる．これにはロボットに搭載されるROS環境とハードウェア環境の接続システムが必要である．これまでにBinarized VGG-16を対象にシステムの構築を行い，その成果についてICSyS2019にて発表を行った．この成果については学会でも評価されており，同学会でのBest Paper Award受賞に繋がった．
以上のように，２年目に遂行予定だった項目については前倒しで進展があり，項目[1]が完了すれば，項目[2]，[3]の遂行には当初の予定ほど実現に時間がかからないと考えられる．総評して，おおむね順調に進展したと考えている．
|
| Strategy for Future Research Activity |
今後はまず１年目の実施項目の完了を目指して研究を進めつつ，完了次第迅速に２年目の実施項目に取り組むことが必要である．
まず初めに項目[1]に取り組む．提案ネットワークをソフトウェアで実現し，性能の検証を行う．性能の検証では，これまでに開発したデータセット生成法を用いてデータセットを準備し，物体の位置・サイズ検出精度とクラス分類精度について従来のネットワークと比較する．
次に項目[2]に取り組む．ハードウェア向けに，実現した提案ネットワークのアルゴリズム再構築を行う．また，高位合成を活用してハードウェアへ実装する．
最後に項目[3]に取り組む．ホームサービスロボットへの搭載と性能評価実験を行う．これまでに開発したROS-ハードウェア接続システムを用いて，ホームサービスロボットと，提案ネットワークが実装されたハードウェアを接続し，システム全体の性能評価を行う．本評価実験を通じて，提案システムがホームサービスロボットに有効であることを確かめる．
また，これまでに述べた項目への取り組みと並行して，論文執筆や学会発表を行う．得られた知見について論文や学会で発表し，知見を広く共有するとともに意見交換を行う．
|
