3DCGバーチャルフィッシュの作成および提示技術の開発
| Project/Area Number |
22K12242
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62010:Life, health and medical informatics-related
|
|---|
| Research Institution | Fukui Prefectural University |
|---|
Principal Investigator |
八杉 公基 福井県立大学, 海洋生物資源学部, 准教授 (50722790)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 同期撮影 / トラッキング / 深層学習 / バーチャルフィッシュ / 動物行動 / VR biology |
|---|
| Outline of Research at the Start |
応募者は三次元コンピュータグラフィックス (3DCG) で外見や動きを忠実に再現した「バーチャル生物」を利用することで、外見や動きの持つ視覚的な情報が他者認知においてどのように利用されているかを解明してきた。本研究では、バーチャル生物を作成し提示する現行の手法が持つ課題を、深層学習を利用した画像処理と三次元体軸推定の自動化によって解決することを目指す。これにより動物の認知実験へのバーチャル生物導入のハードルが下がり、動物の「動き」に注目した認知行動研究の増加が期待される。
|
| Outline of Annual Research Achievements |
今年度は複数台カメラを用いた同期撮影システムの構築を行った。申請書に計上していたカメラはBasler acA800-200gcであるが、GigEインターフェースの機種は同期撮影のシステム構築が簡便な一方で、USB3.0インターフェースの機種に比べて解像度に対するフレームレートが低いというデメリットがある。また、世界的な部材不足と納期遅延により、新規購入の見通しが立たなかったため、手元にあるUSB3.0インターフェースの機種Basler acA1440-220ucでのシステム構築を試みた。メーカーとのやり取りを重ねた結果、カメラ以外にはGPIOケーブルとシンプルな電気回路を接続するだけで、本機種で撮影可能なフレームレートの内では遅延の影響なく複数台が同期撮影できるシステムが構築できた。本研究の要のひとつである同期撮影システムが当初よりも高解像度・高フレームレートで実現できたことで、高い精度で魚の動きを検出できることが期待される。また、市販の行動解析用同期撮影システムよりも安価であるため、技術の普及にも役立つ。
さらに、魚の胴体部分のセグメンテーションを行うためのニューラルネットワーク構築に関する技術の習得を進めた。同一のデータセットを使って、フルスクラッチとファインチューニングのいずれの手法においても高い精度を示すネットワークが構築できた。特に後者は、一般的には学習データが少なくて済むことが分かっており、本研究でも開発した手法の実装時に役立つ可能性がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度後半から所属研究機関変更に伴う準備のため、新規の行動撮影を含めた研究を進めることが難しくなった。福井県立大学に籍を移してからも、所属が新設の学科のためまだ建物ができておらず、研究スペースを確保するのが難しい状況である。そのような状況の中でも、安価な産業用カメラを使った同期撮影システムの構築を進め、本研究の技術的な基盤のひとつを整備することができた。またニューラルネットワーク構築のためのハードウェア整備と技術の習得を進めた。
|
| Strategy for Future Research Activity |
シルエット画像からの三次元運動情報の構築を行う。ここでは、魚類の側面画像からヒレのないシンプルなシルエットを取得することと、得られたシルエットから端点のずれない三次元体軸推定を行うことを目指す。
・側面画像からのヒレ部分の削除：既存の体軸推定アルゴリズムが利用できるよう、魚類の側面画像からヒレを除いた胴体部分のシルエットを作成する深層学習機を構築する。学習データの作成にはバーチャルフィッシュを利用する。
・端点のずれない三次元体軸推定：上面・側面の各シルエットから端点抽出を行うのをやめて、上面シルエットでの推定結果をベースにする。上面シルエットを囲む矩形と体軸推定結果から、ヒレを削除した側面画像の体軸推定を行う。また、シルエットに奥行きが出てしまうと端点推定位置のずれに繋がるため、側面の撮影を２方向に増やすことで推定の精度を上げる。
|
Report
(1 results)
Research Products
(4 results)
-
[Journal Article] Evolutionary differentiation of androgen receptor is responsible for sexual characteristic development in a teleost fish2023
Author(s)
Y. Ogino, S. Ansai, E. Watanabe, M. Yasugi, Y. Katayama, H. Sakamoto, K. Okamoto, K. Okubo, Y. Yamamoto, I. Hara, T. Yamazaki, A. Kato, Y. Kamei, K. Naruse, K. Ohta, H. Ogino, T. Sakamoto, S. Miyagawa, T. Sato, G. Yamada, M. Baker & T. Iguchi
-
Journal Title
Nature communications
Volume: 14
Issue: 1
Pages: 1428-1428
DOI
Related Report
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
