Come misuriamo la qualità e la velocità della generazione

Come viene valutato uno script

Un funscript è una lista di posizioni nel tempo. La valutazione parte dalle sue inversioni: ogni punto in cui lo script smette di muoversi in una direzione e inizia a muoversi nell'altra. Le inversioni dello script generato vengono confrontate con quelle dello script di riferimento sullo stesso tratto di video.

Corrispondenza

Un'inversione generata conta come corrispondenza quando cade entro ±150 ms da un'inversione di riferimento. Tutto ciò che è più lontano conta come un'inversione mancata da una parte e un'inversione in più dall'altra.

F1

Un unico numero che combina quante inversioni di riferimento sono state trovate e quante delle inversioni generate erano reali. 1.0 significa che ogni inversione corrisponde e nessuna è stata inventata; sia le inversioni mancanti sia quelle in più lo abbassano.

Errore di temporizzazione

Solo per le inversioni corrispondenti, la distanza tra le due inversioni in millisecondi, riportata come mediana e 90° percentile. Non vengono calcolati né la media né il 95° percentile. Le inversioni senza corrispondenza sono escluse da questo dato, quindi un errore di temporizzazione va sempre letto accanto all'F1 con cui è stato ottenuto: un errore di temporizzazione basso con un F1 basso descrive solo le inversioni che sono state trovate.

Rapporto di ampiezza delle corse

La lunghezza mediana delle corse dello script generato divisa per la lunghezza mediana di quelle del riferimento, senza corrispondenza. 1.0 significa corse della dimensione giusta in media; sotto 1.0 significa corse troppo piccole.

Frequenza delle inversioni e movimento a vuoto

Rispetto agli script fatti a mano contiamo anche i cambi di direzione al secondo, e quanto lo script continua a muoversi nei tratti che chi ha scritto lo script ha segnato come privi di azione.

Esecuzioni ripetute con le stesse impostazioni su un film sono variate di circa ±0,005 F1, quindi consideriamo rumore qualsiasi differenza inferiore a 0,01 F1 tra due versioni o impostazioni.

Da dove vengono gli script di riferimento

Una valutazione vale quanto lo script con cui si confronta, e per gran parte della storia del progetto quello script non era indipendente.

Fino al 19 settembre 2026: riferimenti Live Track

Ogni dato di F1, temporizzazione e ampiezza delle corse registrato prima del 19 settembre 2026 confrontava il motore con riferimenti Live Track. Questi erano l'output del motore stesso del 22 agosto 2026, guidato da una persona che trascinava un riquadro di tracciamento, non script fatti a mano. Una nuova versione può discordare da essi perché è peggiore, oppure perché è migliore del motore che li ha creati. Quindi questi confronti possono fermare una modifica sbagliata, ma non possono confermare un miglioramento, e qualsiasi dato che ne derivi può essere descritto solo come concordanza con i nostri riferimenti, mai come accuratezza rispetto a script fatti a mano. Il dato di temporizzazione di "27 ms" apparso su questo sito proveniva da questo tipo di confronto.

Dal 19 settembre 2026: clip scriptate a mano alla cieca

Il riferimento ora viene da brevi clip scriptate a mano secondo un protocollo alla cieca:

1. Clip lunghe 12 secondi vengono tagliate dai film di prova in finestre scelte da un seme casuale fisso. Ognuna riceve un nome casuale e non ha audio, titolo né timecode.
2. La chiave che indica da quale film proviene ogni clip è tenuta a parte e non viene aperta durante la scrittura degli script, e l'ordine di scrittura mescola i film.
3. Chi scrive gli script crea a mano un funscript per ogni clip, seguendo regole scritte che sono state fissate prima che venisse scriptata la prima clip.
4. Di ogni clip vengono valutati solo gli 8 secondi centrali; i 2 secondi a ciascuna estremità no.
5. Lo script del motore per lo stesso tratto viene valutato rispetto a quello fatto a mano con le misure descritte sopra.

Come verifica del riferimento stesso, la frequenza delle corse di chi ha scritto gli script corrispondeva alla frequenza di movimento dominante del video entro circa 0,1 Hz in 7 delle 9 clip verificate.

Il primo lotto, 28 clip da cinque film valutate il 19 settembre 2026, ha due limiti che dichiariamo apertamente. È stato scriptato da una sola persona, lo sviluppatore. E le clip provengono dagli stessi cinque film su cui sono state regolate le impostazioni predefinite, quindi niente al suo interno è tenuto da parte. È un lotto esplorativo: utile per trovare i punti deboli, non per un numero da titolo.

Cosa non è ancora misurato

• Altre schede grafiche. È stata cronometrata solo la RTX 5080. Non esiste alcun dato per le schede di fascia media.
• Solo processore. L'app funziona senza una scheda grafica NVIDIA, più lentamente, ma questo non è stato cronometrato.
• I livelli High e Fast con le impostazioni attuali. Non esiste una temporizzazione attuale per nessuno dei due.
• L'app installata. Ogni misura finora è stata eseguita dal codice sorgente, non dalla build del programma di installazione.
• Errore di temporizzazione rispetto a script fatti a mano. Il lotto scriptato a mano ha F1, frequenza delle inversioni, ampiezza delle corse e movimento a vuoto, ma non ancora un errore di temporizzazione in millisecondi.
• Latenza e deriva dei dispositivi in sessioni reali. Niente registra quanto fedelmente un dispositivo segua davvero il video: nessuna latenza di andata e ritorno, deriva o offset di avvio misurati per l'Autoblow AI Ultra, e nessuno per i dispositivi Intiface o DeoVR. Le soglie di deriva descritte in come l'app corregge la deriva dell'Autoblow sono ciò a cui l'app punta, non risultati misurati. Solo l'Autoblow AI Ultra è stato testato su hardware reale; The Handy, Kiiroo, Lovense e OSR2/SR6 sono stati testati solo con dispositivi simulati.
• Un lotto di accuratezza tenuto da parte. Non è stato ancora valutato alcun lotto di clip da film su cui le impostazioni non sono mai state regolate.
• La classificazione del tipo di movimento nell'app predefinita. La sua accuratezza sulle caratteristiche usate dall'app in esecuzione non è mai stata misurata.

Quando saranno pubblicati i risultati

Il primo lotto scriptato a mano è stato valutato. Ci ha mostrato dove il motore è debole: fa meno inversioni di chi scrive gli script nelle scene veloci, le sue corse risultano piccole in quelle più veloci, e continua a muoversi nei tratti senza azione. Non citiamo i suoi numeri di F1 o di ampiezza delle corse come dato di accuratezza, perché le clip provenivano dai film su cui sono state regolate le impostazioni predefinite e c'era una sola persona a scrivere gli script.

Prima che qualsiasi dato di accuratezza compaia su questo sito, verrà tagliato un lotto tenuto da parte da film su cui le impostazioni non sono state regolate, e verrà valutato allo stesso modo. Quando succederà, questa pagina mostrerà i numeri con il metodo descritto sopra, il numero di clip e di film, e chi li ha scriptati. Qualsiasi dato di velocità aggiunto in seguito riporterà le stesse condizioni di quello qui sopra: scheda grafica, livello, frequenza dei fotogrammi, risoluzione e build. Non abbiamo fissato una data.

Domande

Da leggere dopo

• Come funziona il motorePosa, flusso ottico e profondità, e cosa contribuisce ciascuno a uno script.
• Correzione della derivaCome la riproduzione su un Autoblow AI Ultra viene mantenuta al passo con il video, e cosa è misurato e cosa no.
• Report StudioGuarda il report della tua generazione nel browser.
• Elaborazione localeL'analisi cronometrata qui gira sul tuo PC.