Suiveur de l'animation

Motion Tracker

Status:

Maintained

Keyframes:

Yes

Source library:

opencv

Source filter:

tracker

Available:

On Master only:

No

Known bugs:

No

Description

Motion tracking is the process of locating a moving object across time. Kdenlive uses OpenCV (Open Source Computer Vision Library)[1] for motion detection. The results of this effect can be used in other effects by copying the keyframe data generated by the Motion Tracker as position keyframes in the Transform effect, for example.

Parameters

Parameter	Value	Description
Tracker algorithm	Selection	Sets the algorithm used for motion tracking
Keyframes spacing	Integer	Determines how many keyframes can be skipped when analyzing
Forme du cadre	Selection	Set the shape of the frame
Shape width	Integer	Set the thickness of the frame shape
Couleur du cadre	Picker	Set the color of the frame shape. Also determines the color for Blur type Opaque Fill.
Blur	Integer	Set the amount of blur for Blur type Median Blur and Gaussian Blur
Type de flou	Selection	Select what to do with the framed section

The following selection items are available:

Tracker algorithm

KCF	Kernelized Correlation Filters (default)
CSRT	Channel and Spatial Reliability Tracking
MOSSE	Minimum Output Sum of Squared Error
MIL	Multiple Instance Learning
Flux médian
DaSiam	The DaSiamRPN visual tracking algorithm relies on deep-learning models to provide extremely accurate results. Please see note below for installation instructions.
Nano	Nano tracker is a lightweight model and gives good results and is fast.

Astuce

You may need to experiment with different tracking algorithms to produce good results for your specific use case. See a short comparison of the different tracking algorithms below.

Frame Shape

Rectangle	Default
Ellipse
Arrow

Astuce

Selecting the right shape type can make the motion tracking better.

Blur Type

None	Do nothing (default)
Median Blur	Apply median blur to rectangle
Gaussian Blur	Apply Gaussian blur to rectangle
Pixelate	Pixelate rectangle
Opaque fill	Fill rectangle with shape color

Examples for Blur Type:

Different blur types in action

How to Track a Region of a Video

The basic workflow for tracking a region is as follows:

Tracking the face of the model

• Apply the effect to a clip

• Select the desired region[2] to track on the Project Monitor

• Choose a tracking algorithm

• Click on the Analyze button

Options menu

• When the analysis is done you can export the keyframes to the clipboard by clicking on and choose Copy all keyframes to clipboard. See also Exchanging keyframes.

Tracking algorithms

KCF:

Filtres de corrélation intégrés au noyau

Avantages : la précision et la vitesse sont toutes deux meilleures que « MIL ». De plus, elle signale un échec de suivi mieux que « MIL ».

Inconvénients : Ne se rattrape pas en cas d'occlusion complète.

CSRT:

Channel and Spatial Reliability Tracking.

Dans le filtre de corrélation discriminative avec fiabilité de canal et d'espace (DCF-CSR), nous utilisons la table de fiabilité spatiale pour ajuster la prise en charge de filtre à la partie de la région sélectionnée à partir de la trame pour le suivi. Cela permet d'agrandir et de localiser la région sélectionnée et d'améliorer le suivi des régions ou des objets non rectangulaires. Il utilise uniquement 2 fonctionnalités standards (« HoGs » et « Colornames »). Il fonctionne également à un taux de trame comparativement plus bas (25 trames par seconde) mais donne une plus grande précision pour le suivi des objets.

MOSSE:

Somme minimale de l'erreur quadratique

Le suiveur « MOSSE » utilise une corrélation adaptative pour le suivi des objets, produisant des filtres de corrélation stables lorsqu'ils sont initialisés à l'aide d'une seule trame. Il est robuste aux variations de l'éclairage, de l'échelle, de la pose et des déformations non rigides. Il détecte également l'occlusion en fonction du rapport crête-lobe latéral, ce qui permet au suiveur de s'arrêter et de reprendre où il s'est arrêté lorsque l'objet réapparaît. Il fonctionne également à un taux de trame plus élevé (450 trames par seconde et plus encore).

Avantages : il est aussi précis que les autres suiveurs complexes et beaucoup plus rapide.

Inconvénients : sur une échelle de performance, il est en retard par rapport aux suiveurs conçus à partir de l'apprentissage profond.

MIL:

Multiple Instance Learning

Avantages : le rendement est assez bon. Il fait un travail raisonnable sous occlusion partielle.

Inconvénients : l'échec du suivi n'est pas signalé de façon fiable. Ne se rattrape pas en cas d'occlusion complète.

Flux médian:

Avantages : excellent suivi des défaillances. Fonctionne très bien lorsque le mouvement est prévisible et qu'il n'y a pas d'occlusion.

Inconvénients : Échoue en cas de mouvement important.

DaSiam:

L'algorithme de suivi visuel DaSiamRPN s'appuie sur des modèles d'apprentissage profond pour fournir des résultats extrêmement précis.

Pour utiliser l'algorithme « DaSiam », vous devez télécharger les modèles d'IA

dasiamrpn_kernel_cls1.onnx

dasiamrpn_kernel_r1.onnx

dasiamrpn_model.onnx

et placez-les dans dossiers_for_models

Nano:

Nano tracker is a lightweight model and gives good results and is fast.

In order to use the Nano algorithm you need to download the AI models (model size about 1.9 MB)

nanotrack_backbone_sim.onnx

nanotrack_head_sim.onnx

and place them in the folder for models

Folder for models

Linux:

$HOME/.local/share/kdenlive/opencvmodels

Flatpak:

$HOME/.var/app/org.kde.kdenlive/data/kdenlive/opencvmodels

Windows:

%AppData%/kdenlive/opencvmodels

Press Win+R (Windows key and R key simultaneously) and copy %AppData%/kdenlive/. Then create the folder opencvmodels

---

[1]

If you want to build Kdenlive yourself you need to build MLT with OpenCV support. See here for more info.

[2]

If you see just a red rectangle in the Project Monitor but cannot move or size it, enable Edit Mode by clicking on the icon in the Project Monitor toolbar