2019 Fiscal Year Research-status Report

地上における広葉樹の効率的資源調査を実現するハード/ソフトウェアの開発

Research Project

Project/Area Number	18K05912
Research Institution	Nihon University
Principal Investigator	溝口知広日本大学, 工学部, 准教授 (30547831)
Co-Investigator(Kenkyū-buntansha)	石川貴一朗日本工業大学, 基幹工学部, 准教授 (90578551)
Project Period (FY)	2018-04-01 – 2021-03-31
Keywords	深層学習 / モバイルマッピングシステム / 樹種判別 / セグメンテーション / レーザスキャナ
Outline of Annual Research Achievements	(1)広葉樹の高精度樹種判別：モバイルマッピングシステム(MMS)により取得した動画像より，広葉樹を対象に，葉の詳細形状を撮影した複数画像それぞれに対する深層学習での樹種判別とその投票に基づき，高精度判別可能な手法を開発した．従来の画像1枚を評価する方法では70%程度であった判別率が，提案手法により複数画像を総合的に評価することで90%まで向上できた．このため郡山市内の公園にて主要な5種類を対象に撮影を行い，各種とも数百枚程度の学習データを整備した．また樹木医と連携し，判別に有効な評価指標等を議論し，これを開発手法にも組み込んだ． (2)MMS点群のセグメンテーション：同じくMMSにて取得した点群に対し，ボクセル化，ブロック分割，地表面検出と領域成長法，ノイズ除去からなる点群のセグメンテーション手法を開発した．実験より，従来の樹頂点評価に基づく方法では70%程度であった樹幹検出率が95%程度まで向上することを確認した．計算時間も500万の点群に対し80秒程度と効率的である． (3)高解像動画像からのリアルタイム樹幹検出と樹種判別：スギやヒノキを対象に，同じくMMS動画像に対し，画像の解像度制御に，深層学習を応用した物体検出とクラス分類を組み合わせ，4k程度の高解像動画に対しても樹木とその種をリアルタイムに抽出・判別可能な手法を開発した．こちらも近郊の森林内で取得した動画像から学習データを整備した． (4)点群の画像化に基づくセグメンテーション：地上型レーザスキャナにより取得した点群を対象とし，点群を歪みの画像へと変換し，画像中で深層学習を応用した手法で樹木を検出することにより，点群のセグメンテーションを行う手法を開発した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 初年度に開発したモバイルマッピングシステム(MMS)にて森林や公園での撮影を行い，点群と動画像を安定に取得可能であることを確認した．またこれまでに研究例のないMMSによる動画像からの広葉樹の樹種判別手法を開発し，様々な実験より高精度判別が可能であることを確認できた．また取得した点群のセグメンテーション手法の開発にも行い，MMS点群に特化した従来法とは異なるアプローチで高い樹幹検出率を達成するなど，当初の予定をほぼ達成できている．これらの成果の一部はすでに国内学会3件にて発表済みであり，点群処理に関する講習会でも一部報告済みである．ただし，樹種判別は主要な5種類のみを対象としており，データの整備が当初予定より遅れている．また画像中の葉領域抽出は実装できておらず，次年度に開発しシステムに組み込む必要がある．これに加えて，深層学習に動画像中のリアルタイム樹種判別や点群の画像化に基づくセグメンテーションなどの関連技術の開発をはじめ，その有効性を検証できるところまで研究が進んでいる．
Strategy for Future Research Activity	2020年度はまず，広葉樹の樹種判別に向けた10種以上の幅広いクラスの種を対象にデータ整備を行う．また葉と同様に判別に大きく寄与することが知られている樹皮画像を併用し，これらをマルチモーダル学習にてさらに高精度判別可能な技術へと発展させることを目標としている．また最終年度であることから，手動で行っている処理を自動化し，点群セグメンテーションと組合わせたシステムとして実装する．またこれらを投稿論文としてまとめるだけでなく，SPARJ等の大規模シンポジウムでも実用性をアピールできることころまで進める予定である．
Causes of Carryover	当初予定していた遠方地域でのデータ取得が都合により行えておらず，旅費として計上していた予算が未使用となっているが，2020年度に遅れて使用する予定である．