3DCGバーチャルフィッシュの作成および提示技術の開発

• 研究課題/領域番号: 22K12242
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分62010:生命、健康および医療情報学関連
• 研究機関: 福井県立大学
• 研究代表者: 八杉 公基 福井県立大学, 海洋生物資源学部, 准教授 (50722790)
• 研究期間 (年度): 2022-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円); 2025年度: 390千円 (直接経費: 300千円、間接経費: 90千円); 2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2023年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円); 2022年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
• キーワード: 三次元座標構築 / トラッキング / 深層学習 / 同期撮影 / バーチャルフィッシュ / 動物行動 / VR biology

研究開始時の研究の概要

応募者は三次元コンピュータグラフィックス (3DCG) で外見や動きを忠実に再現した「バーチャル生物」を利用することで、外見や動きの持つ視覚的な情報が他者認知においてどのように利用されているかを解明してきた。本研究では、バーチャル生物を作成し提示する現行の手法が持つ課題を、深層学習を利用した画像処理と三次元体軸推定の自動化によって解決することを目指す。これにより動物の認知実験へのバーチャル生物導入のハードルが下がり、動物の「動き」に注目した認知行動研究の増加が期待される。

研究実績の概要

今年度は、異なる視点から撮影した複数台のカメラで撮影した映像から、対象となる魚類の体軸の三次元座標を推定し、バーチャルフィッシュを「本物らしく」動かすことができるモーションファイルを構築するための手法開発を進めた。体軸の推定については、申請書に記載した方法に加えて、深層学習を援用したトラッキングツールであるDeepLabCut (Mathis et al., 2018)を取り入れることとした。DeepLabCutは非常に強力なツールであり、泳ぐ魚の体軸座標についても、こちらが手入力した座標情報を学習させることで、低コストかつ高精度に座標が検出できることが確認できた。しかしながら、メダカのように体側面に目立つ構造や模様のない種では、学習用データの座標入力時の手掛かりに乏しく、入力時のゆらぎがそのまま動画全体の三次元座標構築に反映され、構築精度の低下に繋がるおそれがあることも明らかとなった。申請時に記載した手法と併用することでこの課題が解決できると考えている。
さらに、体側の模様など外見的な手掛かりがある種と体軸の推定精度を比較するため、メダカ以外にゼブラフィッシュを実験対象種として追加した。バーチャルメダカをベースとして、ゼブラフィッシュの3DCGモデルを作成した。

現在までの達成度 (区分)

3: やや遅れている

理由

昨年度に引き続き、本年度も新規の行動撮影を含めた動物実験を進めることが難しい状況であった。本年度の初夏には新たに学科棟が建設され、撮影機器や解析用のコンピュータを実験室に配置して行動実験の環境を整える予定であったが、完成予定がずれ込んだために計画の変更を余儀なくされた。手元にある撮影済みの動画を使用して、体軸座標検出のための手法開発を進めた。また、新たに実験対象種として加えたゼブラフィッシュの3DCGモデルを作成した。

今後の研究の推進方策

遊泳映像から体軸の三次元座標を推定し、モーションファイルを作成するための手法開発を進める。ヒレを除いた体側のシルエットを使って体軸の分割点を求め、その座標情報をDeepLabCutの学習データに反映させる。
提案手法で作成したバーチャルフィッシュの有効性を検証するための認知実験を実施する。モーションファイル作成の基となった動画と、バーチャルフィッシュの映像の２つを水槽内の魚に提示し、追従行動の強度を比較する。
また、水槽内の魚の位置をリアルタイムに取得し、バーチャルフィッシュの座標に反映させることで、リアルタイムな相互作用系を再現できる映像提示システムの開発を目指す。これは申請書記載の手法からさらに一歩先に進んだ実験手法であり、闘争や繁殖など個体間のインタラクションが必須となる事象を調べるための実験を可能とする。

研究成果

• [雑誌論文] XR最前線～メタバースがやってくる～：タッチレス空中インタフェースとしての3Dディスプレイの利用 (2023)
  • 著者名/発表者名: 八杉 公基、山本 裕紹、陶山 史朗
  • 雑誌名: 情報処理 巻: 64 号: 8 ページ: d95-d114
  • DOI: 10.20729/00226769
  • 年月日: 2023-07-15
  • オープンアクセス
• [雑誌論文] Evolutionary differentiation of androgen receptor is responsible for sexual characteristic development in a teleost fish (2023)
  • 著者名/発表者名: Y. Ogino, S. Ansai, E. Watanabe, M. Yasugi, Y. Katayama, H. Sakamoto, K. Okamoto, K. Okubo, Y. Yamamoto, I. Hara, T. Yamazaki, A. Kato, Y. Kamei, K. Naruse, K. Ohta, H. Ogino, T. Sakamoto, S. Miyagawa, T. Sato, G. Yamada, M. Baker & T. Iguchi
  • 雑誌名: Nature communications 巻: 14 号: 1 ページ: 1428-1428
  • DOI: 10.1038/s41467-023-37026-6
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Laterally biased diffusion of males of the water flea Daphnia magna (2022)
  • 著者名/発表者名: Toyota Kenji、Yasugi Masaki、Tatarazako Norihisa、Iguchi Taisen、Watanabe Eiji
  • 雑誌名: Journal of Experimental Zoology Part A: Ecological and Integrative Physiology 巻: 337 号: 6 ページ: 626-638
  • DOI: 10.1002/jez.2595
  • 査読あり / オープンアクセス
• [学会発表] Individual Identification of Swimming Fish by Image Processing And Deep Learning (2022)
  • 著者名/発表者名: Masaki Yasugi, Hirotsugu Yamamoto
  • 学会等名: OPTICS & PHOTONICS International Congress
  • 国際学会 / 招待講演
• [図書] Lateral Asymmetry in Animals (2022)
  • 著者名/発表者名: Michio Hori, Satoshi Takahashi
  • 総ページ数: 295
  • 出版者: Springer Nature Singapore