• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

3DCGバーチャルフィッシュの作成および提示技術の開発

研究課題

研究課題/領域番号 22K12242
研究機関福井県立大学

研究代表者

八杉 公基  福井県立大学, 海洋生物資源学部, 准教授 (50722790)

研究期間 (年度) 2022-04-01 – 2026-03-31
キーワード三次元座標構築 / トラッキング / 深層学習
研究実績の概要

今年度は、異なる視点から撮影した複数台のカメラで撮影した映像から、対象となる魚類の体軸の三次元座標を推定し、バーチャルフィッシュを「本物らしく」動かすことができるモーションファイルを構築するための手法開発を進めた。体軸の推定については、申請書に記載した方法に加えて、深層学習を援用したトラッキングツールであるDeepLabCut (Mathis et al., 2018)を取り入れることとした。DeepLabCutは非常に強力なツールであり、泳ぐ魚の体軸座標についても、こちらが手入力した座標情報を学習させることで、低コストかつ高精度に座標が検出できることが確認できた。しかしながら、メダカのように体側面に目立つ構造や模様のない種では、学習用データの座標入力時の手掛かりに乏しく、入力時のゆらぎがそのまま動画全体の三次元座標構築に反映され、構築精度の低下に繋がるおそれがあることも明らかとなった。申請時に記載した手法と併用することでこの課題が解決できると考えている。
さらに、体側の模様など外見的な手掛かりがある種と体軸の推定精度を比較するため、メダカ以外にゼブラフィッシュを実験対象種として追加した。バーチャルメダカをベースとして、ゼブラフィッシュの3DCGモデルを作成した。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

昨年度に引き続き、本年度も新規の行動撮影を含めた動物実験を進めることが難しい状況であった。本年度の初夏には新たに学科棟が建設され、撮影機器や解析用のコンピュータを実験室に配置して行動実験の環境を整える予定であったが、完成予定がずれ込んだために計画の変更を余儀なくされた。手元にある撮影済みの動画を使用して、体軸座標検出のための手法開発を進めた。また、新たに実験対象種として加えたゼブラフィッシュの3DCGモデルを作成した。

今後の研究の推進方策

遊泳映像から体軸の三次元座標を推定し、モーションファイルを作成するための手法開発を進める。ヒレを除いた体側のシルエットを使って体軸の分割点を求め、その座標情報をDeepLabCutの学習データに反映させる。
提案手法で作成したバーチャルフィッシュの有効性を検証するための認知実験を実施する。モーションファイル作成の基となった動画と、バーチャルフィッシュの映像の2つを水槽内の魚に提示し、追従行動の強度を比較する。
また、水槽内の魚の位置をリアルタイムに取得し、バーチャルフィッシュの座標に反映させることで、リアルタイムな相互作用系を再現できる映像提示システムの開発を目指す。これは申請書記載の手法からさらに一歩先に進んだ実験手法であり、闘争や繁殖など個体間のインタラクションが必須となる事象を調べるための実験を可能とする。

次年度使用額が生じた理由

「現在までの進捗状況」に記載した通り、移動先の建物の完成予定がずれ込んだことで、新規の行動撮影を含めた実験を進めることが難しかったため。次年度はまず前半に申請書にて計上したコンピュータや撮影用機材を購入し、実験環境の構築を目指す。

備考

一般向け講演
1) 八杉 公基, メダカから始める養殖魚の研究 -どうやって魚を認識するか?-, 港区立みなと科学館 自然科学研究機構連携講座, 2023年12月16日

  • 研究成果

    (1件)

すべて 2023

すべて 雑誌論文 (1件) (うちオープンアクセス 1件)

  • [雑誌論文] XR最前線~メタバースがやってくる~:タッチレス空中インタフェースとしての3Dディスプレイの利用2023

    • 著者名/発表者名
      八杉 公基、山本 裕紹、陶山 史朗
    • 雑誌名

      情報処理

      巻: 64 ページ: d95~d114

    • DOI

      10.20729/00226769

    • オープンアクセス

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi