動物基礎モデルによる行動分析の統一(Unifying behavioral analysis through animal foundation models)

ad

2024-06-21 スイス連邦工科大学ローザンヌ校(EPFL)

動物の行動解析において、AIが観察者のバイアスを取り除き、効率的な分析を可能にする新しいツール「SuperAnimal」が開発されました。EPFLのMackenzie Mathis研究室が発表したこのオープンソースツールは、人間の注釈を必要とせずに45種以上の動物や架空の生物の関節位置を自動的に認識できます。従来の手法と異なり、データラベルの重複や異なるラベル付けの問題を解決し、大規模データセットの効率的なトレーニングを実現します。この進歩により、獣医や生物医学研究者、さらには神経科学やスポーツの分野でも利用が期待されます。SuperAnimalはgithub.com/DeepLabCutで公開されています。

<関連情報>

行動解析のためのSuperAnimal事前学習済みポーズ推定モデル SuperAnimal pretrained pose estimation models for behavioral analysis

Shaokai Ye,Anastasiia Filippova,Jessy Lauer,Steffen Schneider,Maxime Vidal,Tian Qiu,Alexander Mathis & Mackenzie Weygandt Mathis
Nature Communications  Published:21 June 2024
DOI:https://doi.org/10.1038/s41467-024-48792-2

動物基礎モデルによる行動分析の統一(Unifying behavioral analysis through animal foundation models)

Abstract

Quantification of behavior is critical in diverse applications from neuroscience, veterinary medicine to animal conservation. A common key step for behavioral analysis is first extracting relevant keypoints on animals, known as pose estimation. However, reliable inference of poses currently requires domain knowledge and manual labeling effort to build supervised models. We present SuperAnimal, a method to develop unified foundation models that can be used on over 45 species, without additional manual labels. These models show excellent performance across six pose estimation benchmarks. We demonstrate how to fine-tune the models (if needed) on differently labeled data and provide tooling for unsupervised video adaptation to boost performance and decrease jitter across frames. If fine-tuned, SuperAnimal models are 10–100× more data efficient than prior transfer-learning-based approaches. We illustrate the utility of our models in behavioral classification and kinematic analysis. Collectively, we present a data-efficient solution for animal pose estimation.

生物工学一般
ad
ad
Follow
ad
タイトルとURLをコピーしました