Rastreo de movimiento

Motion Tracker

Estado:

Mantenido

Animable:

Sí

Biblioteca de origen:

opencv

Filtro de origen:

tracker

Disponible:

Solo en pista Maestra:

No

Errores conocidos:

No

Profundidad de color:

8 bits

Tutorial:

Sí

Descripción

El rastreo de movimiento es el proceso de seguir la posición de un elemento en movimiento, a lo largo del tiempo. Kdenlive utiliza OpenCV (Open Source Computer Vision Library)[1] para la detección de movimiento. El resultado de este efecto podrá ser usado en otros efectos, copiando los datos de los claves generados por este efecto, como claves de posición, por ejemplo, en un efecto Transformar.

Parámetros

Parámetro	Valor	Descripción
Algoritmo de rastreo	Selección	Permitirá establecer el algoritmo de rastreo a ser usado para la detección del movimiento
Espaciado de claves	Entero	Determinará cuántos fotogramas podrán ser omitidos al analizar el movimiento
Forma del marco	Selección	Permitirá establecer la forma del marco a ser usado
Ancho de la forma	Entero	Establece el grosor de la forma del marco
Color de la forma	Selector	Permite escoger un color para la forma del marco. También determinará el color al usar el Tipo de desenfoque Relleno opaco.
Desenfocar	Entero	Establece la cantidad de desenfoque, para los Tipos de desenfoque Desenfoque medio y Desenfoque gaussiano
Tipo de desenfoque	Selección	Permite determinar qué operación realizar dentro de la forma rastreada

Los siguientes elementos se encuentran disponibles para ser seleccionados:

Algoritmo de rastreo

KCF	Kernelized Correlation Filters (Filtros de correlación de núcleo) (predeterminado)
CSRT	Channel and Spatial Reliability Tracking (Rastreo de confianza espacial y canales)
MOSSE	Minimum Output Sum of Squared Error (Suma mínima producida del error al cuadrado)
MIL	Multiple Instance Learning (Aprendizaje de múltiples instancias)
FlujoMedio
DaSiam	El algoritmo de rastreo visual DaSiamRPN se basa en modelos de aprendizaje profundo para proporcionar resultados extremadamente precisos. Ver la nota más abajo, para obtener instrucciones de instalación.
Nano	Nano es un modelo liviano de rastreo que produce buenos resultados y es rápido.

Truco

Es posible que sea necesario experimentar con distintos algoritmos de rastreo hasta producir resultados de calidad para cada caso específico. Ver una breve comparación de los distintos tipos de algoritmos de rastreo más abajo.

Forma del marco

Rectángulo	Predefinida
Elipse
Flecha

Truco

Seleccionar la forma correcta podrá hacer que el rastreo de movimiento sea más efectivo.

Tipo de desenfoque

Ninguno	No hace nada (predeterminado)
Desenfoque mediano	Aplicará un desenfoque mediano dentro del marco
Desenfoque gaussiano	Aplicará un desenfoque gaussiano dentro del marco
Pixelizar	Aplicará un efecto de pixelizado dentro del marco
Relleno opaco	Aplicará un relleno opaco dentro del marco

Ejemplos de Tipo de desenfoque:

Los distintos tipos de desenfoque en acción

Cómo rastrear una región de un video

El procedimiento básico para rastrear una región es el siguiente:

Rastreo del rostro de la modelo

• Aplicar el efecto a un clip

• Seleccionar la región que se desee[2] rastrear, en el Monitor del proyecto

• Escoger un algoritmo de rastreo

• Hacer clic en el botón Analizar

Menú de opciones

• Una vez finalizado el análisis, será posible exportar los fotogramas clave al portapapeles, haciendo clic en el botón y escogiendo Copiar todos los claves al portapapeles. Ver también Intercambio de fotogramas clave entre efectos.

Algoritmos de rastreo

KCF:

Kernelized Correlation Filters

Pros: Su precisión y velocidad es mejor que la del algoritmo MIL y también tiene un mejor reporte de errores de rastreo que MIL.

Contras: No es capaz de recuperar el rastreo después de una oclusión completa.

CSRT:

Channel and Spatial Reliability Tracking.

En el algoritmo DCF-CSR (Discriminative Correlation Filter with Channel and Spatial Reliability), se usa un mapa de confiabilidad espacial para ajustar el soporte del efecto a la parte de la región seleccionada para ser rastreada. Esto asegura un agrandamiento y ubicación de la región seleccionada y un rastreo mejorado de regiones o elementos no rectangulares. Utiliza solo 2 características estándar (HoGs y Colornames). También es capaz de operar a una tasa relativamente baja de fps (25), logrando una mejor precisión al rastrear objetos.

MOSSE:

Minimum Output Sum of Squared Error

MOSSE usa una correlación adaptativa para el rastreo de elementos que produce filtros estables de correlación, cuando sea inicializado a partir de un único fotograma. El rastreador MOSSE es robusto frente a variaciones de iluminación, escala, pose y deformaciones no rígidas. También es capaz de detectar oclusiones, basándose en la proporción entre picos y lóbulos, lo cual le permite pausar el análisis y retomar donde se dejó, cuando el objeto vuelva a aparecer. El rastreador MOSSE también es capaz de operar a tasas altas de fps (450 y hasta más).

Pros: Es tan preciso como otros rastreadores complejos, pero mucho más rápido.

Contras: En una escala de rendimiento, es superado por los rastreadores basados en aprendizaje profundo.

MIL:

Multiple Instance Learning

Pros: Su rendimiento es muy bueno. Realiza un trabajo razonable en condiciones de oclusión parcial.

Contras: No reporta de forma confiable errores de rastreo. No es capaz de recuperarse de una oclusión completa.

FlujoMedio:

Pros: Excelente reporte de errores de rastreo. Funciona muy bien con movimientos predecibles y ausencia de oclusiones.

Contras: Falla con movimientos extensos.

DaSiam:

El algoritmo de rastreo visual DaSiamRPN se basa en modelos de aprendizaje profundo para proporcionar resultados extremadamente precisos.

Para poder usar el algoritmo DaSiam será necesario descargar los modelos de IA

dasiamrpn_kernel_cls1.onnx

dasiamrpn_kernel_r1.onnx

dasiamrpn_model.onnx

y colocarlos en la carpeta para modelos

Nano:

Nano es un modelo liviano de rastreo que produce buenos resultados y es rápido.

Para poder usar el algoritmo Nano será necesario descargar los modelos de IA (tamaño del modelo: 1,9 MB aproximadamente)

nanotrack_backbone_sim.onnx

nanotrack_head_sim.onnx

y colocarlos en la carpeta para modelos

Carpeta para modelos

Linux:

$HOME/.local/share/kdenlive/opencvmodels

Flatpak:

$HOME/.var/app/org.kde.kdenlive/data/kdenlive/opencvmodels

macOS:

$HOME/Library/Application Support/kdenlive/opencvmodels

Windows:

%AppData%/kdenlive/opencvmodels

Pulsar Win+R (la tecla de Windows y R simultáneamente) y copiar %AppData%/kdenlive/. Luego crear la carpeta opencvmodels

¡Solo para Windows!

Es posible que se obtenga un error: mlt_repository_init: error al abrir C:\Archivos de programa\kdenlive\lib\mlt/libmltjack.dll o inicialización de animación FALLÓ seguido de muchas líneas como Fotograma actual: <f>, porcentaje: <p>.

En tal caso, se recomienda borrar todas las carpetas de kdenlive en C:\Archivos de programa\, %AppData%\Roaming\ y %AppData%\Local\ y después realizar una nueva instalación de Kdenlive.

---

[1]

En caso de que se deseara compilar Kdenlive, será necesario compilar MLT con soporte para OpenCV. Ver aquí para más información (more info).

[2]

En caso de que en el Monitor del proyecto se mostrara un rectángulo rojo, pero no fuera posible moverlo ni redimensionarlo, activar el Modo de edición, haciendo clic en el botón , en la barra de herramientas del Monitor del proyecto