2022 Fiscal Year Research-status Report
3DCGバーチャルフィッシュの作成および提示技術の開発
| Project/Area Number |
22K12242
|
|---|
| Research Institution | Fukui Prefectural University |
|---|
Principal Investigator |
八杉 公基 福井県立大学, 海洋生物資源学部, 准教授 (50722790)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 同期撮影 / トラッキング / 深層学習 |
|---|
| Outline of Annual Research Achievements |
今年度は複数台カメラを用いた同期撮影システムの構築を行った。申請書に計上していたカメラはBasler acA800-200gcであるが、GigEインターフェースの機種は同期撮影のシステム構築が簡便な一方で、USB3.0インターフェースの機種に比べて解像度に対するフレームレートが低いというデメリットがある。また、世界的な部材不足と納期遅延により、新規購入の見通しが立たなかったため、手元にあるUSB3.0インターフェースの機種Basler acA1440-220ucでのシステム構築を試みた。メーカーとのやり取りを重ねた結果、カメラ以外にはGPIOケーブルとシンプルな電気回路を接続するだけで、本機種で撮影可能なフレームレートの内では遅延の影響なく複数台が同期撮影できるシステムが構築できた。本研究の要のひとつである同期撮影システムが当初よりも高解像度・高フレームレートで実現できたことで、高い精度で魚の動きを検出できることが期待される。また、市販の行動解析用同期撮影システムよりも安価であるため、技術の普及にも役立つ。
さらに、魚の胴体部分のセグメンテーションを行うためのニューラルネットワーク構築に関する技術の習得を進めた。同一のデータセットを使って、フルスクラッチとファインチューニングのいずれの手法においても高い精度を示すネットワークが構築できた。特に後者は、一般的には学習データが少なくて済むことが分かっており、本研究でも開発した手法の実装時に役立つ可能性がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度後半から所属研究機関変更に伴う準備のため、新規の行動撮影を含めた研究を進めることが難しくなった。福井県立大学に籍を移してからも、所属が新設の学科のためまだ建物ができておらず、研究スペースを確保するのが難しい状況である。そのような状況の中でも、安価な産業用カメラを使った同期撮影システムの構築を進め、本研究の技術的な基盤のひとつを整備することができた。またニューラルネットワーク構築のためのハードウェア整備と技術の習得を進めた。
|
| Strategy for Future Research Activity |
シルエット画像からの三次元運動情報の構築を行う。ここでは、魚類の側面画像からヒレのないシンプルなシルエットを取得することと、得られたシルエットから端点のずれない三次元体軸推定を行うことを目指す。
・側面画像からのヒレ部分の削除：既存の体軸推定アルゴリズムが利用できるよう、魚類の側面画像からヒレを除いた胴体部分のシルエットを作成する深層学習機を構築する。学習データの作成にはバーチャルフィッシュを利用する。
・端点のずれない三次元体軸推定：上面・側面の各シルエットから端点抽出を行うのをやめて、上面シルエットでの推定結果をベースにする。上面シルエットを囲む矩形と体軸推定結果から、ヒレを削除した側面画像の体軸推定を行う。また、シルエットに奥行きが出てしまうと端点推定位置のずれに繋がるため、側面の撮影を２方向に増やすことで推定の精度を上げる。
|
| Causes of Carryover |
本年度後半から所属研究機関変更に伴う準備のため、新規の行動撮影を含めた研究を進めることが難しくなった。福井県立大学に籍を移してからも、所属が新設の学科のためまだ建物ができておらず、研究スペースを確保するのが難しい状況である。次年度前半は既存のデータを用いた画像処理や解析手法の開発を進め、後半は研究スペースを確保のちコンピュータや撮影用機材を購入して新規の行動実験を進める。
|
