| Project/Area Number |
22K12242
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62010:Life, health and medical informatics-related
|
|---|
| Research Institution | Fukui Prefectural University |
|---|
Principal Investigator |
八杉 公基 福井県立大学, 海洋生物資源学部, 准教授 (50722790)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 三次元座標構築 / トラッキング / 深層学習 / 同期撮影 / バーチャルフィッシュ / 動物行動 / VR biology |
|---|
| Outline of Research at the Start |
応募者は三次元コンピュータグラフィックス (3DCG) で外見や動きを忠実に再現した「バーチャル生物」を利用することで、外見や動きの持つ視覚的な情報が他者認知においてどのように利用されているかを解明してきた。本研究では、バーチャル生物を作成し提示する現行の手法が持つ課題を、深層学習を利用した画像処理と三次元体軸推定の自動化によって解決することを目指す。これにより動物の認知実験へのバーチャル生物導入のハードルが下がり、動物の「動き」に注目した認知行動研究の増加が期待される。
|
| Outline of Annual Research Achievements |
今年度は、異なる視点から撮影した複数台のカメラで撮影した映像から、対象となる魚類の体軸の三次元座標を推定し、バーチャルフィッシュを「本物らしく」動かすことができるモーションファイルを構築するための手法開発を進めた。体軸の推定については、申請書に記載した方法に加えて、深層学習を援用したトラッキングツールであるDeepLabCut (Mathis et al., 2018)を取り入れることとした。DeepLabCutは非常に強力なツールであり、泳ぐ魚の体軸座標についても、こちらが手入力した座標情報を学習させることで、低コストかつ高精度に座標が検出できることが確認できた。しかしながら、メダカのように体側面に目立つ構造や模様のない種では、学習用データの座標入力時の手掛かりに乏しく、入力時のゆらぎがそのまま動画全体の三次元座標構築に反映され、構築精度の低下に繋がるおそれがあることも明らかとなった。申請時に記載した手法と併用することでこの課題が解決できると考えている。
さらに、体側の模様など外見的な手掛かりがある種と体軸の推定精度を比較するため、メダカ以外にゼブラフィッシュを実験対象種として追加した。バーチャルメダカをベースとして、ゼブラフィッシュの3DCGモデルを作成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨年度に引き続き、本年度も新規の行動撮影を含めた動物実験を進めることが難しい状況であった。本年度の初夏には新たに学科棟が建設され、撮影機器や解析用のコンピュータを実験室に配置して行動実験の環境を整える予定であったが、完成予定がずれ込んだために計画の変更を余儀なくされた。手元にある撮影済みの動画を使用して、体軸座標検出のための手法開発を進めた。また、新たに実験対象種として加えたゼブラフィッシュの3DCGモデルを作成した。
|
| Strategy for Future Research Activity |
遊泳映像から体軸の三次元座標を推定し、モーションファイルを作成するための手法開発を進める。ヒレを除いた体側のシルエットを使って体軸の分割点を求め、その座標情報をDeepLabCutの学習データに反映させる。
提案手法で作成したバーチャルフィッシュの有効性を検証するための認知実験を実施する。モーションファイル作成の基となった動画と、バーチャルフィッシュの映像の２つを水槽内の魚に提示し、追従行動の強度を比較する。
また、水槽内の魚の位置をリアルタイムに取得し、バーチャルフィッシュの座標に反映させることで、リアルタイムな相互作用系を再現できる映像提示システムの開発を目指す。これは申請書記載の手法からさらに一歩先に進んだ実験手法であり、闘争や繁殖など個体間のインタラクションが必須となる事象を調べるための実験を可能とする。
|
