Como medimos a qualidade e a velocidade da geração

Como um script é pontuado

Um funscript é uma lista de posições ao longo do tempo. A pontuação começa pelas suas viradas: cada ponto em que o script para de se mover num sentido e começa a se mover no outro. As viradas do script gerado são comparadas com as viradas do script de referência no mesmo trecho do vídeo.

Correspondência

Uma virada gerada conta como correspondência quando cai a até ±150 ms de uma virada de referência. Qualquer coisa mais distante é uma falta de um lado e uma virada extra do outro.

F1

Um único número que combina quantas das viradas de referência foram encontradas e quantas das viradas geradas eram reais. 1,0 significa que todas as viradas corresponderam e nenhuma foi inventada; viradas faltando e viradas extras puxam o número para baixo.

Erro de tempo

Só para as viradas correspondentes, a distância entre as duas viradas em milissegundos, informada como mediana e percentil 90. Não são calculados a média nem o percentil 95. As viradas sem correspondência ficam de fora desse número, então um erro de tempo sempre precisa ser lido junto com o F1 que o acompanha: um erro de tempo baixo com um F1 baixo descreve apenas as viradas que foram encontradas.

Razão do tamanho dos movimentos

O comprimento mediano dos movimentos do script gerado dividido pelo comprimento mediano dos da referência, sem correspondência. 1,0 significa movimentos do tamanho certo em média; abaixo de 1,0 significa movimentos pequenos demais.

Taxa de viradas e movimento ocioso

Em comparação com scripts feitos à mão, também contamos as mudanças de direção por segundo e quanto o script continua se movendo em trechos que o autor do script marcou como sem ação.

Execuções repetidas com as mesmas configurações num filme variaram cerca de ±0,005 de F1, então tratamos qualquer diferença menor que 0,01 de F1 entre duas versões ou configurações como ruído.

De onde vêm os scripts de referência

Uma pontuação só é tão boa quanto o script com que é comparada, e durante a maior parte da história do projeto esse script não era independente.

Até 19 de setembro de 2026: referências do Live Track

Todos os números de F1, tempo e tamanho de movimento registrados antes de 19 de setembro de 2026 compararam o motor com referências do Live Track. Elas eram a saída do próprio motor em 22 de agosto de 2026, guiada por uma pessoa arrastando uma caixa de rastreamento, e não scripts feitos à mão. Uma nova versão pode discordar delas por ser pior, ou por ser melhor que o motor que as criou. Assim, essas comparações conseguem barrar uma mudança ruim, mas não conseguem confirmar um ganho, e qualquer número tirado delas só pode ser descrito como concordância com as nossas referências, nunca como precisão em relação a scripts feitos à mão. O número de tempo de "27 ms" que apareceu neste site veio desse tipo de comparação.

Desde 19 de setembro de 2026: clipes roteirizados à mão às cegas

A verdade agora vem de clipes curtos roteirizados à mão sob um protocolo cego:

1. Clipes de 12 segundos são cortados dos filmes de teste em janelas escolhidas por uma semente aleatória fixa. Cada um recebe um nome aleatório e não tem som, título nem timecode.
2. A chave que diz de qual filme veio cada clipe é guardada à parte e não é aberta durante a criação dos scripts, e a ordem de criação mistura os filmes.
3. O autor cria um funscript à mão para cada clipe, seguindo regras escritas que foram congeladas antes de o primeiro clipe ser roteirizado.
4. Só os 8 segundos do meio de cada clipe são pontuados; os 2 segundos de cada ponta não.
5. O script do motor para o mesmo trecho é pontuado em relação ao feito à mão com as medidas acima.

Como verificação da própria verdade, a frequência de movimentos do autor coincidiu com a frequência de movimento dominante do próprio vídeo, com diferença de cerca de 0,1 Hz, em 7 dos 9 clipes verificados.

O primeiro lote, 28 clipes de cinco filmes pontuados em 19 de setembro de 2026, tem dois limites que declaramos abertamente. Ele foi roteirizado por uma só pessoa, o desenvolvedor. E os clipes vêm dos mesmos cinco filmes em que as configurações padrão foram ajustadas, então nada nele está reservado para validação. É um lote de exploração: bom para encontrar pontos fracos, não para um número de destaque.

O que ainda não foi medido

• Outras placas de vídeo. Só a RTX 5080 foi cronometrada. Não há número para placas intermediárias.
• Só o processador. O app roda sem uma placa de vídeo NVIDIA, mais devagar, mas isso não foi cronometrado.
• Os níveis High e Fast com as configurações atuais. Não existe cronometragem atual para nenhum dos dois.
• O app instalado. Todas as medições até agora foram feitas a partir do código-fonte, não da build do instalador.
• Erro de tempo em relação a scripts feitos à mão. O lote roteirizado à mão tem F1, taxa de viradas, tamanho dos movimentos e movimento ocioso, mas ainda não tem erro de tempo em milissegundos.
• Latência e desvio do dispositivo em sessões reais. Nada registra o quanto um dispositivo realmente acompanha o vídeo: nenhuma latência de ida e volta, desvio ou deslocamento inicial medido para o Autoblow AI Ultra, e nenhum para dispositivos Intiface ou para o DeoVR. Os limites de desvio descritos em como o app corrige o desvio do Autoblow são o que o app busca, não resultados medidos. Só o Autoblow AI Ultra foi testado em hardware real; The Handy, Kiiroo, Lovense e OSR2/SR6 foram testados apenas com dispositivos simulados.
• Um lote de precisão reservado para validação. Nenhum lote de clipes de filmes em que as configurações nunca foram ajustadas foi pontuado ainda.
• Classificação do tipo de movimento no app padrão. A precisão dela nas características que o app em execução usa nunca foi medida.

Quando os resultados serão publicados

O primeiro lote roteirizado à mão está pontuado. Ele nos mostrou onde o motor é fraco: faz menos viradas que o autor em cenas rápidas, seus movimentos ficam pequenos nas mais rápidas e ele continua se movendo em trechos sem ação. Não estamos citando seus números de F1 ou de tamanho de movimento como um número de precisão, porque os clipes vieram dos filmes em que os padrões foram ajustados e havia um só autor.

Antes que qualquer número de precisão entre neste site, um lote reservado para validação será cortado de filmes em que as configurações não foram ajustadas e pontuado da mesma forma. Quando isso acontecer, esta página mostrará os números com o método acima, o número de clipes e filmes e quem os roteirizou. Qualquer número de velocidade adicionado depois terá as mesmas condições do número acima: placa de vídeo, nível, taxa de quadros, resolução e build. Não definimos uma data.

Perguntas

Leia a seguir

• Como o motor funcionaPose, fluxo óptico e profundidade, e o que cada um contribui para um script.
• Correção de desvioComo a reprodução num Autoblow AI Ultra é mantida em sincronia com o vídeo, e o que é e o que não é medido sobre isso.
• Report StudioVeja o relatório da sua própria geração no navegador.
• Processamento localA análise cronometrada aqui roda no seu PC.