Comment fonctionne la génération de funscript par IA

Le pipeline, du fichier vidéo à l'appareil

Chaque étape en un paragraphe

Décodage et échantillonnage

La vidéo est décodée par le backend FFmpeg d'OpenCV. L'application demande d'abord le décodage matériel et se rabat sur le décodage logiciel si le codec, la version ou le pilote ne le permet pas. Un thread de travail décode en avance dans une mémoire tampon de 64 images au maximum, pour que le décodage et l'inférence IA se chevauchent au lieu de se relayer.

Le réglage Accuracy détermine combien d'images sont analysées : Fast prend une image sur 4, Balanced (par défaut) une sur 3 et High une sur 2. Sur une vidéo à 30 i/s, cela fait 7,5, 10 ou 15 échantillons par seconde ; sur une vidéo à 60 i/s, ces fréquences doublent. Chaque image échantillonnée est réduite à 320 px de large avant toute analyse, quelle que soit la résolution d'origine. Les images VR sont d'abord redressées en une vue en perspective normale d'un seul œil.

Trouver la zone en mouvement

Sauf si vous tracez vous-même un cadre avec Set Motion Region… ou Live Track, le moteur construit une carte de chaleur du mouvement, prend la zone connexe la plus chaude et l'élargit de 15 %. Le flux optique et la profondeur sont mesurés à l'intérieur de cette zone.

Mesurer le mouvement

Le flux optique est le seul signal toujours actif : le flux dense DIS mesure comment la zone se déplace entre les images échantillonnées. L'estimation de pose YOLOv8 ajoute 17 points clés du corps par personne, et l'estimation de profondeur MiDaS ajoute l'axe vers la caméra et à l'opposé que la vidéo plate masque. Les deux modèles sont optionnels ; sans eux, le moteur fonctionne sur le flux seul et l'indique. Sur un thread d'arrière-plan, l'application lit aussi les vecteurs de mouvement propres au codec et une enveloppe de volume sonore à 50 Hz, dans un budget de temps proportionnel à la durée du film.

Fusion

Le flux donne une vitesse, qui dérive quand on la cumule dans le temps. Le moteur élit donc un point d'ancrage par vidéo parmi le centre de la zone, la pose et la profondeur, et un lisseur Kalman/RTS fusionne le flux intégré avec cet ancrage en une seule courbe de position. Par défaut, l'ancrage est un mélange, échantillon par échantillon, de tous les canaux lisibles, conservé seulement s'il obtient un score au moins aussi bon que l'ancrage unique élu. Là où le suivi décroche, le trou est comblé par un mouvement rythmique prolongé à partir des mouvements voisins, et la part comblée plutôt que mesurée est inscrite dans les métadonnées du script.

Fenêtres de type de mouvement

La timeline est découpée en fenêtres de 2 secondes. Un petit classifieur attribue à chacune un type de mouvement à partir de six caractéristiques de mouvement, et une passe de lissage empêche les étiquettes de clignoter d'une fenêtre à l'autre. L'étiquette détermine la forme donnée au mouvement de cette fenêtre. Une étiquette que vous posez vous-même et qui couvre au moins la moitié d'une fenêtre prend le pas sur le classifieur pour cette fenêtre.

Les points et le fichier enregistré

Un point de script est placé à chaque inversion du mouvement, jamais moins de 120 ms après le précédent et au moins toutes les 4 secondes, puis la liste de points est simplifiée. L'application écrit un JSON .funscript standard à côté de la vidéo, sous le même nom, après avoir copié tout script existant vers .funscript.bak. Voir le format funscript pour ce qu'il contient.

Adaptation à l'appareil

La copie envoyée à un appareil, jamais le fichier enregistré, est adaptée à cet appareil : les points plus rapprochés que ce qu'il peut distinguer sont fusionnés, les segments plus rapides que sa limite de vitesse perdent de l'amplitude mais gardent leur timing, et la densité de points est plafonnée. Pour l'Autoblow AI Ultra, les inversions sont en plus placées sur une grille à 16 i/s. Dans l'application publiée, cette adaptation s'applique à l'envoi vers l'Autoblow ; son application aux appareils Intiface arrive avec la prochaine mise à jour. La façon dont l'appareil reste ensuite calé sur la vidéo est décrite dans correction de dérive et timing de synchronisation.

Où tourne chaque partie

Toute l'analyse se fait sur votre PC. Les modules d'analyse ne contiennent aucun code réseau et la vidéo n'est jamais envoyée en ligne. Le réglage Hardware propose Auto (par défaut), GPU (CUDA) et CPU.

Il n'y a pas d'accélération AMD ou Intel pour les modèles d'IA, et TensorRT n'est pas utilisé. Si un GPU CUDA est demandé mais ne peut pas être utilisé, la pose et la profondeur se rabattent sur le CPU et l'application indique le fournisseur réellement utilisé ; le bouton Check GPU vous dit lequel. Le chemin CPU fonctionne mais bien plus lentement : un commentaire du code issu du PC de test RTX 5080 note environ 25,8 ms par appel pour le petit modèle de profondeur sur le GPU, contre 234 ms sur le CPU.

Nous n'avons pas mesuré la vitesse sur un film entier avec un autre GPU que celui du développeur, ni sur un PC sans GPU, donc cette page ne promet aucune vitesse. La page des benchmarks expose ce qui a été mesuré, sur quoi, et ce qui ne l'a pas été.

À lire ensuite

• Flux optique : lire le mouvement entre les imagesLe signal sur lequel chaque script est construit, et comment on l'empêche de dériver.
• Estimation de pose avec YOLOv8Quel modèle utilise chaque niveau d'Accuracy et ce qu'apportent les points clés.
• Estimation de profondeur avec MiDaSL'axe vers la caméra, et une échelle de profondeur par vidéo.
• Comment l'appareil reste synchroniséLes règles de synchronisation pour l'Autoblow, les appareils Intiface et DeoVR.
• Benchmarks et mesuresCe qui a été mesuré, sur quelle machine, et ce qui ne l'a pas été.
• Le générateur de funscript par IACe qu'apporte chaque partie IA, et comment elle apprend de vos modifications.