2018 Fiscal Year Research-status Report
深層学習の特徴点抽出機能に基づく非人工環境下におけるロバストなＳＬＡＭの実現
| Project/Area Number |
17K06485
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
江丸 貴紀 北海道大学, 工学研究院, 准教授 (30440952)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | SLAM |
|---|
| Outline of Annual Research Achievements |
本研究では農林業が行われているフィールドに代表される非人工環境において高精度な自己位置推定を行うために，深層学習によって自動的に抽出された特徴点を利用したロバストなSLAMの実現を目的とする。これまでの研究で屋内環境におけるSLAMの基礎的研究はほぼ達成されており，現在は自動運転車に代表される屋外におけるSLAM研究が盛んである。しかしながら屋外環境には自動車が走行するような人工環境だけではなく農林業を行うような非人工環境も存在しており，非人工環境を対象としたSLAMに関する研究はほとんど無い。そこで，本提案では深層学習を用いたマルチモーダル認識と熟練者のスキルを深層学習に組み込むという新しい手法によって非人工環境におけるロバストなSLAMを実現することを目的とする。平成29年度は農業・林業環境において深層学習を利用することにより作物・雑草の認識を行い，特徴点を自動的に抽出することを目的に研究を実施した。これを踏まえ，平成30年度は以下の課題について研究を実施した
１：従来の深層学習では識別が困難であった，非常に良く似た植物・雑草に対するロバスト画像認識システムの構築。具体的な識別対象として，はと麦とヒエを対象として検出・識別を試みた。深層学習の前処理としてk-means法，あるいはRGB-Dデータ形式の深度情報を利用することによってセグメンテーション処理を行った結果，従来よりも高い精度で識別できることを明らかにした。
２：作物検出を目的とした深層学習のためのデータセット自動生成。深層学習を行うに当たって，質の良い教師データを低コストで作製することは大きな問題である。そこで，クラスタリング技術と最大安定領域（MSER）法を利用することによって画像データからデータセットを自動的に作成する手法を提案した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30年度の研究目標は，深層学習をよりロバストに実現するために認識が難しい対象に対して性能を向上させること，また深層学習を低コストで実装するためにデータセットを自動生成する手法を構築することである。これらの事項について以下に詳細を示す：
１：平成29年度に実施した研究において，ベテラン（初心者には困難である作物・雑草の識別を短時間で精度良く行うことができる）のスキルを深層学習に生かすべく，視線センサやベテラン作業作業者の作業姿勢をセンシングすることによって，データを収集する際のカメラの角度や高さに関する知見を得た。平成30年度においては，これらのデータを解析することよって得た知見を反映し，圃場において深層学習用のデータを収集した。しかしながら，これらのデータをそのまま利用しただけでは識別率を向上させることができず，前処理としてk-means法，あるいはRGB-Dデータ形式の深度情報を利用することによってセグメンテーション処理を適用し評価を行った。その結果，k-means法が深層学習の前処理として効果的であることを明らかにした。
２：深層学習を適用するためには，数千～数万というオーダーの大量のデータを準備することによって学習の性能を向上させることができる。農作物の認識に深層学習を適用するためには，手作業によって作物のあるところにラベルをつける作業（アノテーション）が必要となるため，一般的には大きなコストがかかる。そこで，物検出ための深層学習のデータセットのコストを減らすため，クラスタリング手法としてk-means法，領域検出法としてMSER法を利用し，これらを組み合わせることによってデータセットを自動で生成する手法を提案した。この手法を評価するために，キャベツを１ｍ間隔で植え， そのキャベツの圃場から得られたデータを用いて提案するアルゴリズムの有効性を検証した。
|
| Strategy for Future Research Activity |
これまでの進捗を受け，平成31年度以降は以下の課題を設定する。
課題１：深層学習によって自動抽出された作物を特徴点としSLAMを実現する。動画像または画像群からカメラの位置・姿勢とシーン中の特徴点の3次元位置を復元する手法としてStructure from Motion(SfM)があり，データを一括して入力し高精度な結果を出力するという性質からこれまでは主にオフラインで用いられてきた。近年SfMをリアルタイムSLAMに応用する試みとして，屋外における人工構造物等を対象に学習フェーズでSfMを利用することにより実時間でカメラ位置を推定する手法が提案されている。これらの先行研究を参考にすることにより深層学習によって自動抽出された作物・樹木を特徴点としたSLAMを実現する。
課題２：季節や天候，環境の経年変化に対するSLAMのロバスト性を検証する。深層学習で用いられているニューラルネットワークには汎化能力があり，ある程度ロバストな認識が期待できる。しかし季節や植物の成長に起因する大きな環境の変化に対して深層学習の汎化能力のみでは解決が困難であることが予想されるため，以下の2つの観点から研究を推進する：①単なる画像認識ではなく複数のセンサや時系列情報を利用したマルチモーダル認識。課題２における取り組みに加え，人が行っている認識に倣った「ある角度から見て認識できなければ違う角度から見る」戦略を実装することにより高精度な認識を実現する。②農業であれば畝，林業であれば樹幹間隔といったそれぞれのフィールドに特有の事前知識を利用する。相対的な自己位置推定の精度向上が実際の作業では重要であるため，既知情報を利用して自己位置推定の際に用いられるパーティクルフィルタ(FastSLAM)等の収束計算の効率化・高精度化を実現する。
|
| Causes of Carryover |
(次年度使用額が生じた理由)当初計画では汎用小型ステレオカメラとして株式会社ZMP「RoboVision Mini」（432千円）を導入する計画だったが，他プロジェクト経費で購入したOccam Vision Group社製の全方位ステレオカメラ「OmniStereo」を利用することができたため購入を見送った。これらのセンサを利用するためには，PCとして比較的リッチな環境が必要なため，GPUとしてGTX1060を搭載したグラフィックカードを導入することによって環境構築を行うことによって効率的に研究を推進した。この事例をはじめとし，研究代表者・研究協力者が所有する計測機器などを効率的に利用することにより予算の執行を効果的に行い，結果として137,398円を次年度使用額として繰り越した。
(使用計画)
研究計画に基づき，効率的な予算執行に務める。
|
