Comment nous mesurons la qualité et la vitesse de génération

Comment un script est noté

Un funscript est une liste de positions dans le temps. La notation part de ses retournements : chaque point où le script cesse d'aller dans un sens pour repartir dans l'autre. Les retournements du script généré sont comparés à ceux du script de référence sur le même passage de la vidéo.

Appariement

Un retournement généré compte comme apparié lorsqu'il tombe à ±150 ms ou moins d'un retournement de référence. Tout ce qui est plus éloigné compte comme un manqué d'un côté et un retournement en trop de l'autre.

F1

Un seul nombre qui combine la part des retournements de référence retrouvés et la part des retournements générés qui étaient réels. 1.0 signifie que chaque retournement a été apparié et qu'aucun n'a été inventé ; les retournements manqués comme les retournements en trop le font baisser.

Erreur de timing

Pour les retournements appariés uniquement, l'écart en millisecondes entre les deux retournements, donné en médiane et au 90e centile. Aucune moyenne ni aucun 95e centile n'est calculé. Les retournements non appariés sont exclus de ce chiffre : une erreur de timing doit donc toujours être lue avec le F1 qui l'accompagne. Une faible erreur de timing avec un F1 faible ne décrit que les retournements qui ont été trouvés.

Ratio de taille des mouvements

La longueur médiane des mouvements du script généré divisée par la longueur médiane de ceux de la référence, sans appariement. 1.0 signifie des mouvements de la bonne taille en moyenne ; en dessous de 1.0, des mouvements trop petits.

Fréquence des retournements et mouvement à vide

Par rapport aux scripts faits à la main, nous comptons aussi les changements de direction par seconde, et à quel point le script continue de bouger pendant les passages que le scripteur a marqués comme sans action.

Des traitements répétés avec les mêmes réglages sur un même film ont varié d'environ ±0,005 de F1 : nous considérons donc toute différence inférieure à 0,01 de F1 entre deux versions ou deux réglages comme du bruit.

D'où viennent les scripts de référence

Une note ne vaut que ce que vaut le script auquel on compare, et pendant la plus grande partie de l'histoire du projet, ce script n'était pas indépendant.

Jusqu'au 19 septembre 2026 : les références Live Track

Tous les chiffres de F1, de timing et de taille des mouvements relevés avant le 19 septembre 2026 comparaient le moteur à des références Live Track. Il s'agissait de la sortie du moteur lui-même au 22 août 2026, guidée par une personne qui déplaçait un cadre de suivi, et non de scripts faits à la main. Une nouvelle version peut s'en écarter parce qu'elle est moins bonne, ou parce qu'elle est meilleure que le moteur qui les a produites. Ces comparaisons peuvent donc bloquer un mauvais changement, mais pas confirmer un progrès, et tout chiffre qui en découle ne peut être décrit que comme un accord avec nos références, jamais comme une précision par rapport à des scripts faits à la main. Le chiffre de timing de « 27 ms » qui est apparu sur ce site provient de ce type de comparaison.

Depuis le 19 septembre 2026 : des extraits scriptés à la main en aveugle

La vérité de référence vient désormais de courts extraits scriptés à la main selon un protocole en aveugle :

1. Des extraits de 12 secondes sont découpés dans les films de test, à des positions choisies par une graine aléatoire fixe. Chacun reçoit un nom aléatoire et n'a ni son, ni titre, ni code temporel.
2. La clé indiquant de quel film vient chaque extrait est conservée à part et n'est pas ouverte pendant le scriptage, et l'ordre de scriptage mélange les films.
3. Le scripteur crée à la main un funscript pour chaque extrait, en suivant des règles écrites figées avant que le premier extrait soit scripté.
4. Seules les 8 secondes centrales de chaque extrait sont notées ; les 2 secondes à chaque extrémité ne le sont pas.
5. Le script du moteur pour le même passage est noté par rapport au script fait à la main, avec les mesures ci-dessus.

Pour vérifier la vérité de référence elle-même, la cadence des mouvements du scripteur correspondait à la fréquence de mouvement dominante de la vidéo à environ 0,1 Hz près sur 7 des 9 extraits vérifiés.

Le premier lot, 28 extraits issus de cinq films notés le 19 septembre 2026, a deux limites que nous énonçons clairement. Il a été scripté par une seule personne, le développeur. Et les extraits proviennent des cinq films mêmes sur lesquels les réglages par défaut ont été ajustés : rien n'y est donc tenu à l'écart. C'est un lot d'exploration : utile pour trouver des faiblesses, pas pour un chiffre phare.

Ce qui n'est pas encore mesuré

• Les autres cartes graphiques. Seule la RTX 5080 a été chronométrée. Il n'existe aucun chiffre pour les cartes de milieu de gamme.
• Le processeur seul. L'application fonctionne sans carte graphique NVIDIA, plus lentement, mais cela n'a pas été chronométré.
• Les niveaux High et Fast avec les réglages actuels. Aucune mesure de temps actuelle n'existe pour l'un ou l'autre.
• L'application installée. Toutes les mesures jusqu'ici ont été faites depuis le code source, pas depuis la build de l'installateur.
• L'erreur de timing par rapport aux scripts faits à la main. Le lot scripté à la main a un F1, une fréquence de retournements, une taille des mouvements et un mouvement à vide, mais pas encore d'erreur de timing en millisecondes.
• La latence et la dérive des appareils en conditions réelles. Rien ne mesure à quel point un appareil suit réellement la vidéo : aucune latence aller-retour, dérive ou décalage de démarrage mesurés pour l'Autoblow AI Ultra, et aucun pour les appareils Intiface ou DeoVR. Les seuils de dérive décrits dans comment l'application corrige la dérive de l'Autoblow sont ce que vise l'application, pas des résultats mesurés. Seul l'Autoblow AI Ultra a été testé sur du vrai matériel ; The Handy, Kiiroo, Lovense et OSR2/SR6 n'ont été testés qu'avec des appareils simulés.
• Un lot de précision tenu à l'écart. Aucun lot d'extraits issus de films sur lesquels les réglages n'ont jamais été ajustés n'a encore été noté.
• La classification des types de mouvement dans l'application par défaut. Sa précision sur les caractéristiques qu'utilise l'application en fonctionnement n'a jamais été mesurée.

Quand les résultats seront publiés

Le premier lot scripté à la main est noté. Il nous a montré où le moteur est faible : il fait moins de retournements que le scripteur dans les scènes rapides, ses mouvements sont trop petits dans les plus rapides, et il continue de bouger pendant les passages sans action. Nous ne citons pas ses chiffres de F1 ou de taille des mouvements comme un chiffre de précision, car les extraits provenaient des films sur lesquels les réglages par défaut ont été ajustés et il n'y avait qu'un seul scripteur.

Avant qu'un chiffre de précision n'apparaisse sur ce site, un lot tenu à l'écart sera découpé dans des films sur lesquels les réglages n'ont pas été ajustés, et noté de la même façon. À ce moment-là, cette page présentera les chiffres avec la méthode ci-dessus, le nombre d'extraits et de films, et qui les a scriptés. Tout chiffre de vitesse ajouté plus tard portera les mêmes conditions que celui ci-dessus : carte graphique, niveau, fréquence d'images, résolution et build. Nous n'avons pas fixé de date.

Questions

À lire ensuite

• Comment fonctionne le moteurPose, flux optique et profondeur, et ce que chacun apporte à un script.
• Correction de dériveComment la lecture sur un Autoblow AI Ultra reste calée sur la vidéo, et ce qui est mesuré ou non à ce sujet.
• Report StudioConsultez le rapport de votre propre génération dans le navigateur.
• Traitement localL'analyse chronométrée ici tourne sur votre PC.