2017 Fiscal Year Research-status Report
深層学習の特徴点抽出機能に基づく非人工環境下におけるロバストなＳＬＡＭの実現
| Project/Area Number |
17K06485
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
江丸 貴紀 北海道大学, 工学研究院, 准教授 (30440952)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | SLAM |
|---|
| Outline of Annual Research Achievements |
本研究では農林業が行われているフィールドに代表される非人工環境において高精度な自己位置推定を行うために，深層学習によって自動的に抽出された特徴点を利用したロバストなSLAMの実現を目的とする。これまでの研究で屋内環境におけるSLAMの基礎的研究はほぼ達成されており，現在は自動運転車に代表される屋外におけるSLAM研究が盛んである。しかしながら屋外環境には自動車が走行するような人工環境だけではなく農林業を行うような非人工環境も存在しており，非人工環境を対象としたSLAMに関する研究はほとんど無い。そこで，本提案では深層学習を用いたマルチモーダル認識と熟練者のスキルを深層学習に組み込むという新しい手法によって非人工環境におけるロバストなSLAMを実現することを目的とする。
平成29年度は農業・林業環境において深層学習を利用することにより作物・雑草の認識を行い，特徴点を自動的に抽出することを目的に研究を実施した。単なる画像処理の観点からのみではなく，様々なセンサや定量化された熟練者のスキルを利用したマルチモーダル認識を行うことにより認識精度を向上させる。これらの目的を達成するため，以下に示す２つの課題に分割して研究を実施した。
課題１：林業環境における深層学習を用いた作物・雑草の認識。実際の育林環境でデータを取得し深層学習による認識を試みた。
課題２：農業環境における深層学習を用いた作物・雑草の認識。林業環境における認識システム開発と同様の手順で研究を推進するが，作物と雑草の科目が同じ場合にはこれまで提案されてきた一般的な深層学習の枠組みだけでは認識が大変困難である。そこで熟練者のスキルを深層学習に組み込むという全く新しい発想で問題解決を図ることを提案し，そのための実験解析を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度の研究目標は，農業・林業環境において深層学習を利用することにより作物・雑草の認識を行い，特徴点を自動的に抽出することである。この目的を達成するために２つの課題に分割して研究を実施したが，それぞれについて詳細に進捗状況を説明する。
課題１：林業環境における深層学習を用いた作物・雑草の認識を実現するために実際の育林環境でデータを取得し深層学習による認識を試みた。北海道の育林環境において対象となる樹木は針葉樹がほとんどであり，雑草は笹，あるいは種目の遠い植物であることから画像データが得られれば比較的容易に認識できると考えられる。しかしながら雑草の生長が早い場合にはオクルージョンが発生するため大きな問題となるためGPSやIMUの利用，さらにはロボット自身が動くことによって認識精度を向上させる手法を考案し，実験的に検証を行った。
課題２：農業環境における深層学習を用いた作物・雑草の認識を実現するために林業環境における認識システム開発と同様の手順で研究を実施した。ただし作物と雑草の科目が同じ場合には認識が大変困難なことが予想されたため，熟練者のスキルを深層学習に組み込むという全く新しい発想で問題解決を試みた。現在，スマート農業のプロジェクトでは熟練者の視線をアイトラッカーによって計測し，獲得された視線の情報とそのときに熟練者が何を考えているのかという知見を組み合わせることでスキルの伝承を試みる取り組みがなされている。我々は熟練者がどこに着目して認識しているのかという情報に加え，どのように見ているのかという姿勢の情報をIMU（慣性計測装置）によってセンシングし，その情報を元にカメラの姿勢を制御することによって認識しやすいカメラの姿勢を実現を試みた。さらにはその時系列情報や各種センサによって得られた情報の組み合わせについて解析を行い，低コストで高精度な認識を試みた。
|
| Strategy for Future Research Activity |
これまでの進捗を受け，平成３０年度以降は以下の課題を設定する。
課題３：深層学習によって自動抽出された作物を特徴点としSLAMを実現する。動画像または画像群からカメラの位置・姿勢とシーン中の特徴点の3次元位置を復元する手法としてStructure from Motion(SfM)があり，データを一括して入力し高精度な結果を出力するという性質からこれまでは主にオフラインで用いられてきた。近年SfMをリアルタイムSLAMに応用する試みとして，屋外における人工構造物等を対象に学習フェーズでSfMを利用することにより実時間でカメラ位置を推定する手法が提案されている。これらの先行研究を参考にすることにより深層学習によって自動抽出された作物・樹木を特徴点としたSLAMを実現する。
課題４：季節や天候，環境の経年変化に対するSLAMのロバスト性を検証する。深層学習で用いられているニューラルネットワークには汎化能力があり，ある程度ロバストな認識が期待できる。しかし季節や植物の成長に起因する大きな環境の変化に対して深層学習の汎化能力のみでは解決が困難であることが予想されるため，以下の2つの観点から研究を推進する：①単なる画像認識ではなく複数のセンサや時系列情報を利用したマルチモーダル認識。課題２における取り組みに加え，人が行っている認識に倣った「ある角度から見て認識できなければ違う角度から見る」戦略を実装することにより高精度な認識を実現する。②農業であれば畝，林業であれば樹幹間隔といったそれぞれのフィールドに特有の事前知識を利用する。相対的な自己位置推定の精度向上が実際の作業では重要であるため，既知情報を利用して自己位置推定の際に用いられるパーティクルフィルタ(FastSLAM)等の収束計算の効率化・高精度化を実現する。
|
| Causes of Carryover |
当初計画では任意空間視線追尾・視線計測装置として株式会社ディテクト「View Tracker II」（1,580千円）を導入する計画だったが，北海道立総合研究機構工業試験場が所有している同機器を利用させていただくことができたため購入を見送った．代替のセンサとして，屋外SLAMを実施するためにこの分野で多く利用されている，LiDAR（レーザー画像検出と測距システム）と呼ばれる3次元距離画像センサ「Velodyne VLP-16」（1,231千円）を導入した．この事例をはじめとし，研究代表者・研究協力者が所有する計測機器などを効率的に利用することにより予算の執行を効果的に行い，結果として38,728円を次年度使用額として繰り越した．
繰越額が相対的に大きな金額ではないため，平成30年度は当初の研究計画に基づき，効率的な予算執行に務める．
|
