2018 Fiscal Year Research-status Report
| Project/Area Number |
18K11525
|
|---|
| Research Institution | Kanazawa University |
|---|
Principal Investigator |
佐藤 賢二 金沢大学, 生命理工学系, 教授 (10215783)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 生物行動 / 深層学習 / 位置推定 / 姿勢推定 / 動作認識 |
|---|
| Outline of Annual Research Achievements |
平成３０年度はまず、異なるボディプランを持つ４種類の動物（ヒト、クワガタ、カモメ、タイ）の動画に対して、LEAPを用いた姿勢認識の精度検証を行った。動画の各フレームに対して、姿勢を構成するキーポイントのアノテーションを手動で行い、一部を訓練データとして、残りを試験データとして用いることで、キーポイントの認識精度を計算した。特徴抽出のための既存モデルとしては、COCOデータセットを学習した５種類のモデルを検討し、最も精度が高いと思われるものをファインチューニングして使用した。実験の結果、ボディプランの違いは認識精度にあまり影響しないこと、背景を含めた画像全体を入力する代わりに対象の動物が写っている領域だけを切り出して入力することにより精度が大幅に上昇すること、明確な目印が無いキーポイントは認識精度が低いこと、対象動物と背景の色合い等が近い場合は背景除去をしないと認識精度が低いこと、画像の鮮明さが精度に大きく影響することなどが分かった。動物の行動認識については、以下の研究も行った。
・高架式十字迷路を移動するマウスの軌跡データを用いて、健常なマウスと自閉症のモデルマウスの行動パターンを比較し、片方に特有な行動を抽出する手法を開発した。
・透明な床を通してフェレットを下から撮影した動画像を用いて、フェレットの足の位置を深層学習で検出し、２匹の歩行行動を比較することで、両方に共通な歩行パターンを抽出する手法を開発した。
・飼育ケージに入っているマウスの行動（水を飲む、歩く、毛づくろいする、等）を、従来手法より高精度に分類する手法を開発した。これを応用して、強制水泳試験におけるマウスの行動分類も可能であることを示した。
・ペットショップで撮影した複数種類の犬の動画像に対して、Dynamic Imageを用いた行動分類が高精度に行えることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定した研究内容（異なるボディプランを持つ３～４種類の動物を対象とし、人手でアノテーションを行い、大規模なモデルをファインチューニングして学習と予測を行い、姿勢認識の精度検証を行う。精度に影響を与える様々な要素について評価を行う。指定した行動を高精度に分類する手法を開発する）は順調に進展している。派生した課題（マウスやフェレットなどの実験動物を対象とした行動認識）についても同様に進展している。
|
| Strategy for Future Research Activity |
大規模な画像データに対して位置認識、姿勢認識、行動認識の実験を効率良く行うための計算機環境を早急に整備し、さらなる精度向上と実用的なアプリケーションの模索を行う。
|
| Causes of Carryover |
理由）当初計画では深層学習用PCを複数台購入して研究を進める予定だったが、処理対象となる大量の動画像データの撮影が年度内に間に合わなかったため、今年度はPCの購入を見送り、手持ちの計算機で実験を行った。
計画）令和元年度の早い時期に購入を行う。
|
-
[Journal Article] Applying Deep Learning Models to Mouse Behavior Recognition2019
Author(s)
Nguyen,N.G., Phan,D., Lumbanraja,F.R., Faisal,M.R., Abapihi,B., Purnama,B., Delimayanti,M.K., Mahmudah,K.R., Kubo,M., Satou,K.
-
Journal Title
Journal of Biomedical Science and Engineering
Volume: 12
Pages: 183-196
DOI
Peer Reviewed / Open Access
-
[Presentation] Applying Deep Learning Models to Action Recognition of Swimming Mice with the Scarcity of Training Data2019
Author(s)
Nguyen,N.G., Delimayanti,M.K., Purnama,B., Mahmudah,K.R., Kubo,M., Kakikawa,M., Yamada,Y., Satou,K.
Organizer
BIOINFORMATICS 2019: 10th International Conference on Bioinformatics Models, Methods and Algorithms
Int'l Joint Research
-
[Presentation] On The Problem About Optical Flow Prediction for Silhouette Image2019
Author(s)
Purnama,B., Delimayanti,M.K., Nguyen,N.G., Mahmudah,K.R., Kubo,M., Kakikawa,M., Yamada,Y., Satou,K.
Organizer
BIOINFORMATICS 2019: 10th International Conference on Bioinformatics Models, Methods and Algorithms
Int'l Joint Research
-
[Presentation] Clustering and Classification of Breathing Activities by Depth Image from Kinect2019
Author(s)
Delimayanti,M.K., Purnama,B., Nguyen,N.G., Mahmudah,K.R., Kubo,M., Kakikawa,M., Yamada,Y., Satou,K.
Organizer
BIOINFORMATICS 2019: 10th International Conference on Bioinformatics Models, Methods and Algorithms
Int'l Joint Research
