2020 Fiscal Year Research-status Report
Research on video archive systems for natural science museums such as zoos and their utilization
| Project/Area Number |
19K01150
|
|---|
| Research Institution | Advanced Sclene, Technology & Management Research Institute of Kyoto |
|---|
Principal Investigator |
吉田 信明 公益財団法人京都高度技術研究所, 研究開発本部, 主任研究員 (00373506)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 正之 京都市動物園, 生き物・学び・研究センター, 生き物・学び・研究センター長 (80280775)
塩瀬 隆之 京都大学, 総合博物館, 准教授 (90332759)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 画像処理 / 行動観察 / 深層学習 / 自動分類 / IoT / センサデータ / 映像配信システム |
|---|
| Outline of Annual Research Achievements |
本研究課題における最終目標は，動物園における教育プログラムや飼育活動に有効な映像記録の自動抽出を可能とする「モニタリング映像アーカイブシステム」の実現である．
本年度は，その目標に向けて，昨年に引き続いて，ビデオ映像の自動解析の取り組みを進めた．昨年度，研究分担者が所属する京都市動物園で飼育されているツキノワグマを対象として，監視カメラを用いて記録されたツキノワグマの映像から行動データへの自動分類を試みたが，本年度は，精度の向上や，当該データ・映像に適した機械学習モデルの検討を目的として，さらに複数の手法等の適用・比較を行った．
一方で，赤外線測距センサのような，カメラ以外のセンサの利用についても検討を行った．このようなセンサから得られるデータは，映像と比較すると，全体としての情報量は少ない一方で，観察目的に合わせて距離や動きなど物理的なデータを直接測定できることから，適切に設置すれば，局所的にはより詳細な情報を得られる可能性がある．そこで，京都市動物園で行われたチンパンジーに関する展示において，飼育個体の局所的な動きを検出する目的で設置された赤外線測距センサで得られたデータから，個体名や行動への機械学習による自動分類を試み，7割～8割程度の正解率を得た．
このような結果の具体的な応用先として，本課題では映像を活用した教育プログラムの検討を進めることとしている．上述のように，機械学習による個体や行動の自動検出は一定の精度が期待できる．そこで，このような自動検出されたデータを，元の映像に対するメタデータとして利用することを前提として，教育プログラムやそのシステムの概要を検討し，簡易なプロトタイプの作成を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題では，映像データの分析と，教育プログラムの検討を並行して進める計画である．映像データの分析は，昨年度に引き続いて動物園において特に関心が高い「環境エンリッチメント」を対象とした分類の試行をより詳細に行い，映像や機械学習モデルの特性を踏まえた検討を進めることが出来た．その結果，一定レベルの精度の行動データの抽出が可能となり，並行して進めている教育プログラムで利用可能なメタデータの生成につなげることが出来た．また，複数の機械学習手法を検討することで，他の動物種への展開も想定可能となった．加えて，メタデータ生成に使用するデータとして，当初想定していなかったカメラ以外のセンサの活用可能性も検討し，本研究の成果の幅が広がった．
教育プログラムの検討については，先に述べたとおり，一定精度のメタデータを前提とした検討を進められた．一方で，本研究のプロトタイプの作成を行ったが，現下の状況もあり，外部の参加者を加えた検証には至っておらず，今後の対応が必要である．
|
| Strategy for Future Research Activity |
映像分析については，これまでのツキノワグマのデータを対象としてさらに他の機械学習手法等の検討を進め，精度の向上を図る．また，センサデータ利用の検討で対象としたチンパンジーについても，ツキノワグマと飼育状況が大きく異なり，手法等が異なっている可能性があることから，検討対象にし，比較を行う．
加えて，本課題の最終目的であるアーカイブシステムにむけて，メタデータ生成の仕組み作りも行う．これまでは映像を中心に検討を進めてきたが，昨年度のセンサデータの結果も踏まえ，多様な形態のデータを前提とした検討を進める．
教育プログラムの検討については，主としてインターネット配信を想定した検討を引き続き進める．これまでは無編集映像を前提としていたが，一定精度のメタデータが得られることが明らかになったことから，このようなメタデータに基づいた自動編集を前提としたシステムとする．その上で，昨年度作成したプロトタイプシステムに基づいて実験用の配信システムを構築し評価を行う．
|
| Causes of Carryover |
本年度は成果発表を想定していた学会等が中止・オンライン化されたため，旅費等が当初想定に達しなかった．今年度も引き続きオンライン化が想定されるため，オンライン参加費や論文投稿の費用に充てる．
また，研究に使用する機器(NVidia社製GPU)の購入も予定していたが，製品の世界的な不足により入手がきわめて困難な状況が続いており，当面，購入できる目処はたっていない．そこで，同じソフトウェアが利用可能なスーパーコンピュータサービスの利用料に充てることで，研究の効率的な推進を図る．
|
Research Products
(2 results)
