Converta um vídeo em funscript

Quais arquivos de vídeo ele abre

A janela Open Video lista MP4, MKV, AVI, MOV e WMV, e tem uma opção All Files. Arrastar e soltar, Batch Generate Folder e Play Folder as Playlist também aceitam WebM e M4V.

Não há uma lista fixa de codecs. Para a análise, o app decodifica pelo FFmpeg embutido no OpenCV, pedindo primeiro decodificação por hardware (qualquer acelerador que o driver da sua placa de vídeo ofereça) e recorrendo à decodificação por software se o codec, o driver ou o primeiro quadro não cooperarem. Para a reprodução ele usa o VLC, embutido na própria janela. Então um arquivo reproduz e converte se esse FFmpeg e o VLC instalado conseguirem lê-lo; não testamos nem publicamos uma lista de codecs.

Vídeos de RV também funcionam. Antes da análise, o app detecta layouts lado a lado ou em cima/embaixo e projeções olho de peixe ou equirretangulares, e desdistorce a visão central de um olho numa imagem plana normal. Essa detecção é uma heurística baseada em alguns quadros amostrados.

O que acontece com o vídeo, passo a passo

Tudo abaixo roda no seu PC. O código de análise não contém chamadas de rede, e nenhum vídeo, quadro ou miniatura é enviado pela internet.

1. Decodificar e amostrar. O Accuracy define quais quadros são analisados: 1 a cada 4 no Fast, 1 a cada 3 no Balanced (o padrão), 1 a cada 2 no High. Cada quadro amostrado é reduzido para 320 px de largura, seja qual for a resolução de origem. Uma thread de trabalho decodifica adiantado, para que decodificação e análise se sobreponham.
2. Encontrar a região em movimento. A menos que você tenha desenhado uma, o motor monta um mapa de calor de onde o movimento se repete, pega a área mais quente e a amplia em 15%. Os cortes de cena são encontrados por mudanças bruscas entre quadros.
3. Medir o movimento. O fluxo óptico DIS mede o movimento dentro da região. Se os modelos de pose e profundidade estiverem instalados, pontos-chave do corpo e uma leitura de aproximação ou afastamento da câmera acrescentam mais sinais candidatos de posição. Em segundo plano, os vetores de movimento do próprio vídeo e um envelope de volume da trilha sonora também são lidos, cada um dentro de um limite de tempo, então num filme longo eles podem cobrir só parte dele.
4. Montar o traçado de posição. O movimento medido é integrado numa posição ao longo do tempo e fundido com uma âncora montada a partir dos sinais de posição que tiveram a melhor pontuação para aquele vídeo. Onde o rastreamento falha, a lacuna é preenchida com movimento que continua no ritmo dos movimentos ao redor, acompanhando a batida do áudio quando houver uma. Uma segunda passada pode reler alguns trechos sinalizados (no máximo quatro) na taxa de quadros completa.
5. Posicionar os pontos. Cada janela de 2 segundos é rotulada pelo tipo de movimento, e o tamanho do movimento segue a rapidez com que a imagem se move, pela curva de intensidade que você escolher (Smoothed por padrão). Um ponto é colocado a cada mudança de direção, então não há uma taxa fixa de pontos.
6. Salvar. O script é escrito ao lado do vídeo (próxima seção).

Os modelos de IA por trás de cada etapa explica em mais detalhes as partes de fluxo, pose e profundidade.

Vídeos que convertem bem, e vídeos que não

Como o motor trabalha a partir do movimento medido, ele se sai melhor quando o movimento que você quer roteirizado é o principal que se mexe na imagem e continua visível.

Converte bem

• Um movimento claro e repetitivo numa área da imagem. É isso que o mapa de calor de movimento destaca.
• Ritmo constante. O preenchimento de lacunas e a limpeza de ritmo se apoiam nos movimentos ao redor, então um movimento regular sobrevive a falhas curtas.
• Ritmo lento a moderado. O tamanho do movimento sai próximo ao de scripts feitos à mão em cenas mais lentas.

Converte mal, e o que fazer

• Outra coisa se mexe mais. O localizador de região segue o movimento mais forte, que pode não ser a parte que importa para você. Desenhe a região você mesmo com Set Motion Region…, ou use o Live Track para mover uma caixa enquanto o vídeo toca; o rastreamento é salvo ao lado do vídeo como um arquivo .roitrack.json.
• A ação está escondida. Quando o rastreamento falha, a lacuna é preenchida com ritmo em vez de medida. A parcela preenchida é registrada, e o relatório de qualidade avisa quando ela fica alta.
• Movimento muito rápido. Os movimentos saem pequenos demais em cenas rápidas, ainda mais com taxas de amostragem menores. Experimente o High, ou use Amplify no trecho da linha do tempo.
• Longos trechos sem ação. Introduções e créditos fora da ação ficam em repouso, mas dentro da ação o motor muitas vezes continua produzindo movimentos onde uma pessoa deixaria o script parado. Exclua esses pontos na linha do tempo.
• Vídeo quase estático. Se menos de 5% das amostras mostrarem movimento real, o app se recusa a criar um script e avisa que o vídeo parece estático.

Onde o .funscript é escrito

<video name>.funscript

Salvo automaticamente na pasta do vídeo após o Generate, e após cada arquivo no Batch Generate Folder. Na próxima vez que você abrir o vídeo, o app o carrega automaticamente.

<video name>.funscript.bak

No Generate, qualquer script que já exista com esse nome é copiado para cá primeiro. Só um backup é mantido; o próximo Generate o substitui.

<video name>_as_played.funscript

Só se você escolher File → Export Script (as played): suas configurações de movimento embutidas, para outros players.

%USERPROFILE%\.autoscript_sync\logs\gen_*.json

Um relatório de diagnóstico por Generate ou por arquivo do lote, mantendo os 40 mais recentes. Ele registra o nome do arquivo do vídeo, nunca a pasta nem qualquer conteúdo.

O Generate + Play (instantâneo) não salva um script; use File → Save Funscript As… se quiser guardar o que ele fez. A visão geral do gerador de funscript cobre as três formas de fazer uma conversão.

Se a conversão der errado

• O script segue o movimento errado: defina a região à mão com Set Motion Region… ou Live Track, depois use Generate de novo. Uma nova região significa que o vídeo é analisado de novo por inteiro, então conte com mais ou menos o mesmo tempo da primeira execução.
• A geração está muito lenta: a IA pode estar rodando na CPU. Pressione Check GPU para ver se a análise realmente roda na sua placa de vídeo.
• O arquivo não abre ou não reproduz: tente outro contêiner ou recodifique; a decodificação depende do FFmpeg do OpenCV e a reprodução, do VLC.
• O dispositivo parece atrasado: aumente o Offset (−5000 a +5000 ms, em passos de 50 ms, lembrado por vídeo). Solução de problemas de funscript cobre outros problemas de reprodução.

Perguntas

Leia a seguir

• Como criar um funscriptÀ mão, com IA ou os dois: onde cada abordagem se encaixa.
• Instalando no WindowsGPU e CPU, o que o instalador traz, onde seus dados ficam.
• Fluxo óptico no motorComo o fluxo DIS mede o movimento dentro da região rastreada.
• O que fica no seu PCCada conexão de rede que o app faz e o que cada uma envia.