Suiveur de l'animation

kdenlive2304_effects-motion_tracker

Description

Motion tracking is the process of locating a moving object across time. Kdenlive uses OpenCV (Open Source Computer Vision Library)[1] for motion detection. The results of this effect can be used in other effects by copying the keyframe data generated by the Motion Tracker as position keyframes in the Transform effect, for example.

Parameters

Parameter

Value

Description

Tracker algorithm

Selection

Sets the algorithm used for motion tracking

Keyframes spacing

Integer

Determines how many keyframes can be skipped when analyzing

Forme du cadre

Selection

Set the shape of the frame

Shape width

Integer

Set the thickness of the frame shape

Couleur du cadre

Picker

Set the color of the frame shape. Also determines the color for Blur type Opaque Fill.

Blur

Integer

Set the amount of blur for Blur type Median Blur and Gaussian Blur

Type de flou

Selection

Select what to do with the framed section

The following selection items are available:

Tracker algorithm

KCF

Kernelized Correlation Filters (default)

CSRT

Channel and Spatial Reliability Tracking

MOSSE

Minimum Output Sum of Squared Error

MIL

Multiple Instance Learning

Flux médian

DaSiam

The DaSiamRPN visual tracking algorithm relies on deep-learning models to provide extremely accurate results. Please see note below for installation instructions.

Nano

Nano tracker is a lightweight model and gives good results and is fast.

Astuce

You may need to experiment with different tracking algorithms to produce good results for your specific use case. See a short comparison of the different tracking algorithms below.

Frame Shape

Rectangle

Default

Ellipse

Arrow

Astuce

Selecting the right shape type can make the motion tracking better.

Blur Type

None

Do nothing (default)

Median Blur

Apply median blur to rectangle

Gaussian Blur

Apply Gaussian blur to rectangle

Pixelate

Pixelate rectangle

Opaque fill

Fill rectangle with shape color

Examples for Blur Type:

kdenlive_effects-motion_tracker_blur_type

Different blur types in action

How to Track a Region of a Video

The basic workflow for tracking a region is as follows:

kdenlive_effects-motion_tracking_face

Tracking the face of the model

  • Apply the effect to a clip

  • Select the desired region[2] to track on the Project Monitor

  • Choose a tracking algorithm

  • Click on the Analyze button

kdenlive2304_effects-motion_tracker_copy_kf

Options menu

  • When the analysis is done you can export the keyframes to the clipboard by clicking on application-menu and choose Copy all keyframes to clipboard. See also Exchanging keyframes.

Tracking algorithms

KCF:

Filtres de corrélation intégrés au noyau

Avantages : la précision et la vitesse sont toutes deux meilleures que « MIL ». De plus, elle signale un échec de suivi mieux que « MIL ».

Inconvénients : Ne se rattrape pas en cas d'occlusion complète.

CSRT:

Channel and Spatial Reliability Tracking.

Dans le filtre de corrélation discriminative avec fiabilité de canal et d'espace (DCF-CSR), nous utilisons la table de fiabilité spatiale pour ajuster la prise en charge de filtre à la partie de la région sélectionnée à partir de la trame pour le suivi. Cela permet d'agrandir et de localiser la région sélectionnée et d'améliorer le suivi des régions ou des objets non rectangulaires. Il utilise uniquement 2 fonctionnalités standards (« HoGs » et « Colornames »). Il fonctionne également à un taux de trame comparativement plus bas (25 trames par seconde) mais donne une plus grande précision pour le suivi des objets.

MOSSE:

Somme minimale de l'erreur quadratique

Le suiveur « MOSSE » utilise une corrélation adaptative pour le suivi des objets, produisant des filtres de corrélation stables lorsqu'ils sont initialisés à l'aide d'une seule trame. Il est robuste aux variations de l'éclairage, de l'échelle, de la pose et des déformations non rigides. Il détecte également l'occlusion en fonction du rapport crête-lobe latéral, ce qui permet au suiveur de s'arrêter et de reprendre où il s'est arrêté lorsque l'objet réapparaît. Il fonctionne également à un taux de trame plus élevé (450 trames par seconde et plus encore).

Avantages : il est aussi précis que les autres suiveurs complexes et beaucoup plus rapide.

Inconvénients : sur une échelle de performance, il est en retard par rapport aux suiveurs conçus à partir de l'apprentissage profond.

MIL:

Multiple Instance Learning

Avantages : le rendement est assez bon. Il fait un travail raisonnable sous occlusion partielle.

Inconvénients : l'échec du suivi n'est pas signalé de façon fiable. Ne se rattrape pas en cas d'occlusion complète.

Flux médian:

Avantages : excellent suivi des défaillances. Fonctionne très bien lorsque le mouvement est prévisible et qu'il n'y a pas d'occlusion.

Inconvénients : Échoue en cas de mouvement important.

DaSiam:

L'algorithme de suivi visuel DaSiamRPN s'appuie sur des modèles d'apprentissage profond pour fournir des résultats extrêmement précis.

Pour utiliser l'algorithme « DaSiam », vous devez télécharger les modèles d'IA

dasiamrpn_kernel_cls1.onnx

dasiamrpn_kernel_r1.onnx

dasiamrpn_model.onnx

et placez-les dans dossiers_for_models

Nano:

Nano tracker is a lightweight model and gives good results and is fast.

In order to use the Nano algorithm you need to download the AI models (model size about 1.9 MB)

nanotrack_backbone_sim.onnx

nanotrack_head_sim.onnx

and place them in the folder for models

Folder for models

Linux:

$HOME/.local/share/kdenlive/opencvmodels

Flatpak:

$HOME/.var/app/org.kde.kdenlive/data/kdenlive/opencvmodels

Windows:

%AppData%/kdenlive/opencvmodels

Press Win+R (Windows key and R key simultaneously) and copy %AppData%/kdenlive/. Then create the folder opencvmodels