養魚モニタリング手法の確立を目的とした深層学習による魚体認識と3次元行動計測
| Project/Area Number |
20K06201
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 40030:Aquatic bioproduction science-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
米山 和良 北海道大学, 水産科学研究院, 准教授 (30550420)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 勇樹 北海道大学, 水産科学研究院, 助教 (00761701)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | 画像認識技術 / カルマンフィルタ / 魚群 / 移動追跡 / ステレオ画像計測 / 画像処理 / 深層学習 / 魚群行動 |
|---|
| Outline of Research at the Start |
養殖生産システムを効率・省力化するために, IoT, AI等の先進的な技術を駆使した生産システムのICT化に注目が集まっており, その実現に不可欠な養魚の行動モニタリング手法の確立が喫緊の課題となっている。本研究では養魚モニタリング手法の確立を目的とした画像による行動計測を行い，ステレオ画像計測, 人工知能（深層学習）の2つの特色を生かすことで, これまでに困難だった自動的な複数魚体の3次元行動計測手法の構築を達成目標とする。
|
| Outline of Annual Research Achievements |
本研究では, 深層学習を用いた魚体の画像認識技術を確立させ, 魚群の3次元行動の自動計測手法を構築することを目的としている。目的を達成するために、①魚体の画像認識アルゴリズムの開発を2020年度に実施し、②個体レベルでの3次元行動の自動計測手法を2021年度に確立し、③複数個体（群）の3次元行動の自動計測手法を2021ー2022年度に確立することを当初の予定としていた。しかし、新型コロナウイルス感染症の発生のため、2020-2021年度に予定していた養殖現場での現地実験を実施できなかったことから、2021年度より計画を変更した。魚群の3次元行動計測を、養殖場での現地実験でなく、実験室で行えるニジマス、サクラマス、キタムラサキウニを対象とした実験に切り替えた。2022年度は①として、魚体認識アルゴリズムの確立を目的として、サクラマスを対象に、事前学習済みディープニューラルネットを転移学習させた深層学習による画像認識技術の構築を試みたが、検出精度が向上せず2023年度も継続して実施するように予定変更した。魚体認識が未検出なことが多いことから、2021年度に実施したキタムラサキウニと同様の対応で欠損値を埋めるためのカルマンフィルタによる移動経路の補間を行う予定とする。②ステレオ画像計測による3次元計測のアルゴリズム構築は既に確立しており、ニジマス、サクラマスそれぞれ5個体を対象に手動による魚体検出で3次元遊泳軌跡の計測を行っている。画像認識技術をつかった魚群の追跡は①の検出精度を向上させて2023年度に確立させる予定である。本研究の進捗状況は、当初予定していた魚群の計測が叶わなかったことから遅延しているが、画像認識技術による移動物体（キタムラサキウニ）の追跡と手動計測による複数個体の3次元行動計測のアルゴリズムを構築できていることから、魚体の検出精度を向上させるのみとなっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルス感染症によって、初年度に予定していた現地試験の実施がかなわず、計画変更を行ったため、約1年遅れで作業が進んでいる状況である。2021年度は生物を使用した行動計測が実施でき魚体認識手法とその事後処理による経路の推定、自動ではなく手動ではあるが3次元計測を実施できた。2022年度では達成目標には到達できる見込みでいたが、魚体の検出精度が向上せず、補助事業期間延長を行ったことから、やや遅れている」の判断とした。
|
| Strategy for Future Research Activity |
2023年度は、計画変更で対象を変えたサクラマスを使用した実験を計画している。
これまでサクラマスの魚体検出精度が向上しなかった理由として、学習データの少なさと計測データのバリエーションの少なさが原因と考えられたことから、これらの点を改善し、魚体の検出精度の向上を目指す。また、画像認識技術は物体検出アルゴリズムY0L0 v3を用いていたが、これをv4に変更する。
検出精度の向上が叶えば、実験水槽にてサクラマスを対象としたステレオカメラを用いた3次元の魚群行動計測を行い、構築した魚体検出アルゴリズムでサクラマスを追尾し、その3次元位置を自動計測する。魚体未検出による欠損値が多く発生することが予想されるため、カルマンフィルタなどの任意の方法で欠損値の補間を試みる。また、画像上で重畳する個体はステレオカメラのステレオ視により分離して、個別に追跡可能か試みる。
当初予定の①魚体の画像認識アルゴリズムの開発は確立できていることから2023年度で検出精度を向上させ、②個体レベルでの3次元行動の自動計測手法を2023年度の上半期に実現し、③複数個体（魚群）の3次元行動の自動計測手法の構築については2023年度中に実現できるように計画変更して対応する。
|
Report
(3 results)
Research Products
(2 results)
