Cómo medimos la calidad y la velocidad de generación
Este es el método que hay detrás de cualquier prueba comparativa de funscripts que publiquemos: cómo se puntúa un script generado frente a una referencia, de dónde salen los scripts de referencia y la única cifra de velocidad que tenemos. Todavía no hay ninguna tabla de precisión en esta página. Ya tenemos el primer lote puntuado frente a scripts hechos a mano, y antes de publicar cualquier cifra de precisión llegará un segundo lote reservado.
Comprobado con las herramientas de medición y los registros del proyecto el 21 de septiembre de 2026.
Cómo se puntúa un script
Un funscript es una lista de posiciones a lo largo del tiempo. La puntuación parte de sus giros: cada punto en el que el script deja de moverse en un sentido y empieza a moverse en el otro. Los giros del script generado se comparan con los del script de referencia en el mismo tramo de vídeo.
- Emparejamiento
- Un giro generado cuenta como coincidencia cuando cae a menos de ±150 ms de un giro de referencia. Cualquier cosa más alejada es un fallo por un lado y un giro de más por el otro.
- F1
- Un único número que combina cuántos de los giros de referencia se encontraron y cuántos de los giros generados eran reales. 1.0 significa que todos los giros coincidieron y no se inventó ninguno; tanto los giros que faltan como los que sobran lo hacen bajar.
- Error de sincronización
- Solo para los giros emparejados, la distancia en milisegundos entre los dos giros, expresada como mediana y percentil 90. No se calcula la media ni el percentil 95. Los giros sin pareja quedan fuera de esta cifra, así que un error de sincronización siempre debe leerse junto al F1 con el que se obtuvo: un error de sincronización bajo con un F1 bajo describe solo los giros que se encontraron.
- Relación de tamaño del recorrido
- La longitud mediana de los recorridos del script generado dividida por la longitud mediana de los de la referencia, sin emparejamiento. 1.0 significa recorridos del tamaño correcto de media; por debajo de 1.0, recorridos demasiado pequeños.
- Frecuencia de giros y movimiento en reposo
- Frente a scripts hechos a mano también contamos los cambios de dirección por segundo, y cuánto sigue moviéndose el script en los tramos que el autor marcó como sin acción.
Las ejecuciones repetidas con los mismos ajustes en una misma película variaron en torno a ±0,005 de F1, así que tratamos como ruido cualquier diferencia menor de 0,01 de F1 entre dos versiones o ajustes.
De dónde salen los scripts de referencia
Una puntuación solo es tan buena como el script con el que se compara, y durante la mayor parte de la historia del proyecto ese script no era independiente.
Hasta el 19 de septiembre de 2026: referencias de Live Track
Todas las cifras de F1, sincronización y tamaño del recorrido registradas antes del 19 de septiembre de 2026 comparaban el motor con referencias de Live Track. Eran la propia salida del motor del 22 de agosto de 2026, guiada por una persona que arrastraba un recuadro de seguimiento, no scripts hechos a mano. Una versión nueva puede discrepar de ellas porque sea peor, o porque sea mejor que el motor que las creó. Por eso estas comparaciones pueden frenar un cambio malo, pero no pueden confirmar una mejora, y cualquier cifra obtenida de ellas solo puede describirse como concordancia con nuestras referencias, nunca como precisión frente a scripts hechos a mano. La cifra de sincronización de "27 ms" que ha aparecido en este sitio procede de este tipo de comparación.
Desde el 19 de septiembre de 2026: clips scriptados a mano a ciegas
La referencia verdadera ahora procede de clips cortos scriptados a mano con un protocolo a ciegas:
- Se cortan clips de 12 segundos de las películas de prueba en ventanas elegidas con una semilla aleatoria fija. Cada uno recibe un nombre aleatorio y no tiene sonido, título ni código de tiempo.
- La clave que indica de qué película procede cada clip se guarda aparte y no se abre durante el scriptado, y el orden de scriptado mezcla las películas.
- El autor crea a mano un funscript para cada clip, siguiendo unas reglas escritas que se congelaron antes de scriptar el primer clip.
- Solo se puntúan los 8 segundos centrales de cada clip; los 2 segundos de cada extremo no.
- El script del motor para el mismo tramo se puntúa frente al hecho a mano con las medidas anteriores.
Como comprobación de la propia referencia, el ritmo de recorridos del autor coincidió con la frecuencia de movimiento dominante del propio vídeo con una diferencia de unos 0,1 Hz en 7 de los 9 clips comprobados.
El primer lote, 28 clips de cinco películas puntuados el 19 de septiembre de 2026, tiene dos limitaciones que decimos con claridad. Lo scriptó una sola persona, el desarrollador. Y los clips proceden de las mismas cinco películas con las que se ajustaron los valores por defecto, así que nada en él está reservado. Es un lote de exploración: útil para encontrar puntos débiles, no para una cifra de titular.
La única medición de velocidad
Tenemos una sola cifra de velocidad actual, de un solo PC. Léela con todas sus condiciones:
| Condición | Valor |
|---|---|
| Hardware | Tarjeta gráfica NVIDIA RTX 5080, procesador Intel i7-13700K |
| Nivel de precisión | Balanced, con los valores por defecto de una instalación nueva (modelo de pose YOLOv8s, modelo de profundidad MiDaS small, se analiza 1 de cada 3 fotogramas) |
| Compilación | Valores por defecto de la versión 2.121.2, ejecutada desde el código fuente, no la aplicación instalada. La 2.121.2 está compilada pero no publicada; los clientes usan la 2.121.1 |
| Películas | 5 películas, de 32 a 39 minutos, de 29 a 60 fps, 1080p y 2160p |
| Coste por fotograma analizado | 26,3–36,7 ms |
| Tiempo por película | 8,2–28,5 minutos |
| Cuándo | Hacia el 15 de septiembre de 2026 |
En ese PC, cada una de las cinco películas tardó menos en analizarse que en reproducirse. Como Balanced analiza 1 de cada 3 fotogramas, una película a 60 fps tiene el doble de fotogramas que analizar por minuto que una a 30 fps y cuesta aproximadamente el doble. El tiempo real también depende de qué más esté haciendo el PC: las mismas películas tardaron mucho más cuando las ejecuciones coincidieron con otro trabajo.
En los registros del proyecto solo se conservan los rangos anteriores; el desglose por película de esta ejecución no se guardó, así que no asociamos un tiempo a una película concreta.
Esto no es una promesa para tu PC. No dice nada sobre otras tarjetas gráficas, sobre la ejecución solo con el procesador ni sobre los niveles High y Fast.
Lo que aún no se ha medido
- Otras tarjetas gráficas. Solo se ha cronometrado la RTX 5080. No hay cifras para tarjetas de gama media.
- Solo con el procesador. La aplicación funciona sin una tarjeta gráfica NVIDIA, más despacio, pero eso no se ha cronometrado.
- Los niveles High y Fast con los ajustes actuales. No hay ninguna medición de tiempo actual para ninguno de los dos.
- La aplicación instalada. Todas las mediciones hasta ahora se hicieron desde el código fuente, no con la compilación del instalador.
- El error de sincronización frente a scripts hechos a mano. El lote scriptado a mano tiene F1, frecuencia de giros, tamaño del recorrido y movimiento en reposo, pero todavía no un error de sincronización en milisegundos.
- La latencia y la deriva del dispositivo en sesiones reales. Nada registra con qué precisión sigue un dispositivo el vídeo en realidad: no hay latencia de ida y vuelta, deriva ni desfase inicial medidos para el Autoblow AI Ultra, ni para los dispositivos Intiface o DeoVR. Los umbrales de deriva descritos en cómo corrige la aplicación la deriva del Autoblow son lo que la aplicación busca, no resultados medidos. Solo el Autoblow AI Ultra se ha probado en hardware real; The Handy, Kiiroo, Lovense y OSR2/SR6 solo se han probado con dispositivos simulados.
- Un lote de precisión reservado. Todavía no se ha puntuado ningún lote de clips de películas con las que nunca se ajustaron los ajustes.
- La clasificación del tipo de movimiento en la aplicación por defecto. Nunca se ha medido su precisión con las características que usa la aplicación en funcionamiento.
Cuándo se publicarán los resultados
El primer lote scriptado a mano está puntuado. Nos mostró dónde flojea el motor: hace menos giros que el autor en las escenas rápidas, sus recorridos se quedan pequeños en las más rápidas y sigue moviéndose en los tramos sin acción. No citamos sus cifras de F1 ni de tamaño del recorrido como cifra de precisión, porque los clips procedían de las películas con las que se ajustaron los valores por defecto y hubo un solo autor.
Antes de que aparezca cualquier cifra de precisión en este sitio, se cortará un lote reservado de películas con las que no se ajustaron los ajustes y se puntuará de la misma forma. Cuando se haga, esta página mostrará las cifras con el método anterior, el número de clips y de películas, y quién los scriptó. Cualquier cifra de velocidad que se añada más adelante llevará las mismas condiciones que la anterior: tarjeta gráfica, nivel, fotogramas por segundo, resolución y compilación. No hemos fijado una fecha.
Preguntas
¿Qué pasó con el "error de sincronización mediano de 27 ms"?
Se midió frente a las referencias de Live Track, que eran salida del motor, y solo contaba los giros emparejados a menos de ±150 ms. Con los valores por defecto actuales de Balanced, la misma medición da 21–35 ms por película, pero es concordancia con nuestras propias referencias, no precisión frente a un script hecho a mano. Todavía no se ha calculado ningún error de sincronización frente a scripts hechos a mano.
¿Qué velocidad tendrá en mi PC?
Aún no podemos decirlo. La única medición es de una RTX 5080, donde películas de 32 a 39 minutos tardaron de 8,2 a 28,5 minutos en Balanced. No tenemos cifras para ninguna otra tarjeta gráfica ni para el procesador solo. La prueba gratuita te permite cronometrarlo en tu propio hardware.
¿Por qué no publicar ya los resultados de los scripts hechos a mano?
Porque el lote es demasiado limitado para valer como cifra de precisión: un solo autor, y clips de las mismas películas con las que se ajustaron los valores por defecto. Un lote reservado resuelve el segundo problema; eso va primero.
¿El ajuste Accuracy cambia la calidad?
Cambia cuántos fotogramas se analizan: High, 1 de cada 2; Balanced, 1 de cada 3; Fast, 1 de cada 4. En una película, a principios de septiembre de 2026, con el motor y los ajustes de High de entonces y puntuando frente a las referencias de Live Track, Fast alcanzó aproximadamente la mitad del F1 de High (0,316 frente a 0,605). No se han hecho comparaciones entre los niveles con los ajustes actuales frente a scripts hechos a mano.
Sigue leyendo
- Cómo funciona el motorPose, flujo óptico y profundidad, y lo que aporta cada uno a un script.
- Corrección de derivaCómo se mantiene la reproducción en un Autoblow AI Ultra al compás del vídeo, y qué se ha medido y qué no.
- Report StudioConsulta el informe de tu propia generación en el navegador.
- Procesamiento localEl análisis que se cronometra aquí se ejecuta en tu PC.
Mídelo con tus propios vídeos
La prueba es la aplicación completa durante un día, para que cronometres una generación en tu propio PC y juzgues los scripts por ti mismo.