La estimación de pose en AutoScript Sync

Qué modelo usa cada nivel de Accuracy

Hay cuatro tamaños de YOLOv8-pose. La aplicación descarga el pequeño automáticamente; los demás se obtienen desde el selector Download best de la aplicación, que recomienda el modelo grande en una GPU y el pequeño en una CPU.

Esta correspondencia se aplica con Auto-pick model tier from Accuracy activado, que es lo predeterminado. La aplicación solo puede elegir un modelo que ya esté instalado, así que en una instalación predeterminada todos los niveles usan el modelo pequeño hasta que descargues otros. En una CPU los límites son deliberados: Fast usa solo el nano, y Balanced y High usan como mucho el pequeño. También puedes indicar tú mismo a la aplicación un archivo de modelo.

Lo que ve el modelo: 17 puntos clave por persona

Por defecto, la pose se ejecuta en cada fotograma muestreado, sobre la misma imagen de análisis de 320 px de ancho que usa el resto del motor. Ese fotograma se ajusta con bandas (letterbox) al tamaño de entrada del modelo: un modelo ONNX usa el tamaño con el que se exportó (640 px en las exportaciones estándar), y un modelo .pt ejecutado mediante el paquete Ultralytics incluido trabaja a 320 px.

Se conserva cada persona detectada con una confianza superior a 0,35, con los 17 puntos clave COCO estándar: puntos de la cabeza, hombros, codos, muñecas, caderas, rodillas y tobillos. La frecuencia con la que se ejecuta la pose es un intervalo en config.json (pose_every_n), fijado de fábrica en cada fotograma muestreado.

Cómo mantiene las identidades el rastreador de personas

Las detecciones solo son útiles si se sigue a la misma persona a lo largo de una escena. AutoScript Sync usa para ello su propio rastreador, no uno de serie. Empareja a las personas entre fotogramas por la distancia entre los centros de sus recuadros y por el tamaño del recuadro, tomando primero la coincidencia más cercana.

A partir de las personas seguidas construye varias señales candidatas: el movimiento vertical de las caderas y el movimiento relativo de pares de regiones del cuerpo (caderas con caderas, cabeza con caderas, manos con caderas), cada uno dividido por el tamaño del cuerpo. Cada candidata se puntúa según tres criterios:

• cuánto se repite: la proporción de su potencia en su pico más fuerte entre 0,2 y 4 Hz;
• cobertura: en qué parte de la escena se midió realmente, y cualquier valor por debajo del 40% puntúa cero;
• amplitud: cuánto se mueve.

La candidata con mejor puntuación gana por separado en cada capítulo de escena, así que un cambio de postura entre escenas puede cambiar qué señal de región del cuerpo aporta la pose.

Qué aporta la pose al script

La pose no escribe el script por sí sola. La traza de posición final se construye a partir del flujo óptico sujeto a un ancla, y la pose es una de las candidatas a ancla junto con el centro de la región en movimiento y la profundidad. Solo puede convertirse en el ancla única elegida para un vídeo cuando cubre al menos el 25% del vídeo y su puntuación ponderada por calidad es más de 0,6 veces la puntuación del centro de la región. Cuando no es elegida, sigue alimentando la mezcla predeterminada muestra a muestra de todos los canales legibles, y esa mezcla solo se usa si puntúa al menos tan bien como el canal elegido. Las puntuaciones de la elección de cada candidata se escriben en los metadatos del script, para que puedas ver cuál ganó.

La pose también ayuda a etiquetar el tipo de movimiento. La geometría de los puntos clave y la posición de la cara se usan como indicios para la etiqueta de cada ventana de 2 segundos, y pueden anular o ajustar la decisión del clasificador.

No se ha demostrado cuánto mejora la pose la traza de recorridos. En una película de prueba, activar o desactivar la pose solo movió la concordancia de recorridos (F1) con nuestro script de referencia entre 0,607 y 0,610, por debajo de la diferencia de 0,01 que el desarrollador considera significativa (el ruido entre ejecuciones era de unos ±0,005). Esa referencia era la salida del motor guiada por un recuadro de seguimiento dibujado a mano, no un script hecho a mano, y no se ha registrado ninguna comparación de los modelos de pose ligero y pesado en cuanto a precisión de recorridos.

Ejecución en la GPU y el recurso a la CPU

Los modelos de pose se ejecutan localmente como ONNX a través de ONNX Runtime, o como archivos .pt a través del conjunto Ultralytics y PyTorch incluido. La aceleración es solo NVIDIA CUDA; no hay aceleración AMD ni Intel para los modelos, y no se usa TensorRT.

ONNX Runtime puede cargarse en la CPU sin avisar cuando CUDA no se puede usar, así que la aplicación comprueba qué proveedor obtuvo realmente una sesión en lugar de suponerlo. Si se pidió una GPU con CUDA pero no se puede usar, la pose recurre a la CPU y la aplicación informa del proveedor en uso. El botón Check GPU hace esta comprobación cuando lo pides; los ms/fotograma que muestra son la autoprueba del propio modelo de pose, no la velocidad de un análisis completo.

Por defecto, la aplicación también desactiva el autoajuste de cuDNN para que la inferencia en GPU dé los mismos números en cada ejecución, a costa de algo de velocidad. Eso no garantiza un script idéntico al regenerar, porque la aplicación aprende entre ejecuciones.

Preguntas

Sigue leyendo

• Cómo funciona la generación de funscript con IAEl proceso completo y dónde encaja la pose en él.
• Seguimiento de movimiento por flujo ópticoLa señal con la que se compara la pose.
• Estimación de profundidad con MiDaSEl otro modelo opcional y el eje que recupera.
• Ejecutar AutoScript Sync en WindowsGPU, CPU, qué incluye el instalador y dónde se guardan los modelos.