AutoScript Sync 속의 AI

각 부분의 역할

샘플링된 모든 프레임은 먼저 폭 320 px로 축소됩니다(VR 영상은 먼저 한쪽 눈의 평면 화면으로 펼쳐집니다). 영역 찾기, 플로우, 자세, 깊이는 모두 이 작은 프레임에서 작동합니다.

동작 찾기: 모션 돌출도(saliency) 히트맵

여러분이 영역을 지정하지 않으면 엔진은 움직임이 일어나는 곳의 히트맵을 유지하면서 오래된 움직임은 점점 흐리게 하고, 가장 뜨거운 연결 영역을 골라 15% 여유를 둡니다. 측정되는 것은 그 영역입니다. 상자 하나(Set Motion Region…)나 영상이 재생되는 동안 끌어서 움직이는 상자(Live Track)로 이를 대신할 수 있습니다. 앱은 여러분의 상자가 어떤 신체 키포인트를 따라가는지도 기록하므로, 새 영상에서 영역을 제안할 수 있습니다.

움직임 측정: DIS 옵티컬 플로우

옵티컬 플로우는 두 프레임 사이에서 모든 픽셀이 어떻게 움직였는지 추정합니다. 기본 엔진은 OpenCV의 DIS 조밀 플로우를 사용하며, 플로우를 신뢰할 수 있는지 확인하는 더 빠른 절반 해상도 패스를 함께 실행합니다. High에서는 폭이 640 px 이상인 평면 영상의 경우 트래킹 영역을 640 px로도 측정합니다. 둘 다 CPU에서 실행됩니다. 위치 궤적은 플로우 속도를 적분해 만들어집니다. 옵티컬 플로우 자세히 보기.

사람 따라가기: YOLOv8-pose와 사람 트래커

자세 모델이 설치되어 있으면(기본 다운로드는 약 45 MB의 YOLOv8 small-pose) 신뢰도 0.35 이상인 각 사람을 17개의 신체 키포인트와 함께 찾아냅니다. 트래커는 상자의 위치와 크기로 프레임 간에 사람을 대응시키고, 신체 부위 쌍으로 움직임 신호 후보를 만든 뒤, 장면마다 리듬이 가장 뚜렷한 것을 유지합니다. 자세 모델은 선택 사항입니다. 없으면 엔진은 플로우만으로 실행되며 Inference 상태 표시줄에 그렇게 표시합니다. 자세 추정 자세히 보기.

앞뒤 움직임 보기: MiDaS 깊이

평면 옵티컬 플로우로는 카메라 쪽으로 다가오거나 멀어지는 움직임을 볼 수 없습니다. MiDaS v2.1 깊이 모델(기본값은 약 64 MB의 small, 약 397 MB의 large는 GPU용)이 샘플링된 프레임 2개마다 하나씩 상대 깊이를 추정해 영역 안의 움직이는 픽셀에 대해 평균을 냅니다. 이것이 위치 신호 후보 하나가 됩니다. 모델이 프레임당 3초 이상 걸리면 그 실행에서는 깊이가 꺼집니다. 깊이 추정 자세히 보기.

배경의 보조 증거: 모션 벡터와 오디오

앱은 백그라운드 스레드에서 영상 자체의 압축 모션 벡터와 사운드트랙의 50 Hz 음량 포락선을 각각 시간 예산 안에서 읽어 들이므로, 긴 영상에서는 일부만 다룰 수 있습니다. 이 정보는 어느 구간을 더 자세히 볼지 정하는 데 도움이 되며, 오디오는 빈틈을 채운 움직임을 박자에 맞춰 줍니다.

움직임 라벨링: 움직임 유형 분류기

타임라인은 2초 구간으로 나뉩니다. 각 구간은 여섯 가지 움직임 특징으로 표현되고, 앱을 사용하면서 학습하는 작은 로지스틱 회귀 모델이 이를 네 가지 대략적인 장면 유형 중 하나로 분류합니다. 기본으로 켜져 있는 자세 키포인트 기하와 얼굴 위치의 증거가 그 판단을 뒤집거나 조정할 수 있습니다. 그다음 Viterbi 패스가 인접한 구간에 걸쳐 라벨을 매끄럽게 다듬어, 유형이 이리저리 깜빡이지 않게 합니다.

라벨은 해당 구간의 움직임을 어떻게 다듬을지 결정합니다. 각 유형에는 다듬기 프로필이 있으며, 처음에는 중립이고 여러분이 편집으로 가르친 뒤에만 출력을 바꿉니다.

여러분의 라벨이 항상 우선합니다. 여러분이 지정한 라벨이 구간의 절반 이상을 덮으면 그 구간에 대한 분류기의 답을 대체하며, 스무딩 패스는 가르친 구간을 건드리지 않습니다.

하나의 곡선으로 융합

플로우는 얼마나 빨리 움직이는지를, 다른 신호들은 어디에 있는지를 알려 줍니다. 엔진은 플로우 속도를 위치 궤적으로 적분하고, Rauch-Tung-Striebel(RTS) 스무더를 갖춘 칼만 필터에서 기준점과 융합합니다. 이 스무더는 영상 전체를 앞으로 한 번, 뒤로 한 번 실행하므로 각 포인트가 그 뒤에 오는 정보의 도움도 받습니다.

기준점은 영상마다 선택됩니다. 영역의 중심, 자세, 깊이가 서로 경쟁하며, 자세 신호는 영상의 4분의 1 이상을 덮고 점수가 충분히 높을 때만 이길 수 있습니다. 기본적으로 승자는 이후 읽을 수 있는 모든 신호를 샘플 단위로 섞은 혼합 신호로 대체되지만, 혼합 신호의 점수가 적어도 같을 때만 그렇습니다. 이 경쟁의 점수는 스크립트의 메타데이터에 기록되며, Report Studio에서 차트로 볼 수 있습니다.

트래킹이 끊긴 곳은 주변 스트로크에서 이어지는 리듬 있는 움직임으로 채워지며, 타임라인 중 측정이 아니라 채워진 비율이 기록됩니다. 그다음 방향이 바뀔 때마다 포인트가 배치되고, 스트로크 크기는 강도 곡선(기본값은 Smoothed)을 통해 화면상의 속도를 따릅니다.

학습 방식

여러분의 편집에서

AI가 생성한 스크립트를 편집해 저장하면(Ctrl+S 또는 Save As) 앱은 여러분이 바꾼 구간에서 움직임 유형별 스트로크 깊이 배율과 위치 오프셋을 학습합니다.

여러분의 라벨에서

타임라인에서 선택한 구간에 Teach class를 쓰면 라벨이 붙습니다. 여러분의 라벨이 해당 구간에 대한 분류기의 답을 대체합니다.

영상 간 학습(코퍼스 학습)

기본으로 켜져 있습니다. AI 생성마다 해당 영상에서 최대 40개의 예시를 보관할 수 있으며, 이후 실행에서 이를 사용해 트래킹을 다시 잡아냅니다. 따라서 출력은 여러분이 이전에 분석한 것에 어느 정도 영향을 받습니다.

실행 중 학습(자가 학습)

자동 모드에서 기본으로 켜져 있습니다. 엔진은 각 실행 중에도 스스로 학습합니다.

AI Bulk Learn

File 메뉴에 있습니다. 스크립트를 만들지 않고 폴더를 스캔해 짧은 구간을 샘플링하고(기본값은 영상당 4초 구간 30개), 분류기가 판단하지 못하는 구간을 대기열에 넣어 여러분이 키보드로 라벨링하게 합니다. Check my labels는 움직임 증거와 비교해 틀려 보이는 라벨을 표시하며, 학습에는 사람이 붙인 라벨만 사용됩니다.

같은 영상을 같은 분석 설정으로 다시 생성하면 세션 앞부분의 움직임 분석(메모리에 있는 최근 영상 3개)을 재사용하고 라벨링과 스크립트 재구성만 다시 하므로, 가르친 뒤 다시 시도하는 것은 거의 즉시 끝납니다.

실행되는 곳

여러분의 PC입니다. 자세 모델과 깊이 모델은 ONNX Runtime 또는 PyTorch로 실행되며, NVIDIA 그래픽카드가 있으면 CUDA로, 없으면 CPU에서 실행됩니다. GPU를 요청했는데 사용할 수 없으면 CPU로 전환되고, 앱이 실제로 사용 중인 쪽을 알려 줍니다. Check GPU 버튼으로 분석이 그래픽카드에서 실행되는지 확인할 수 있습니다. 옵티컬 플로우는 항상 CPU에서 실행됩니다. AI 모델에 대한 AMD 또는 Intel 가속은 없으며, TensorRT는 사용하지 않습니다.

기본적으로 앱은 모델이 실행할 때마다 같은 수치를 내도록 GPU 자동 튜닝 기능을 끄며, 그만큼 속도가 다소 희생됩니다. 앱이 계속 학습하므로 실행마다 스크립트는 여전히 달라질 수 있습니다. 요구 사항은 GPU, CPU, Windows 설치에서 다룹니다.

질문

다음 읽을거리

• 기술 섹션자세, 플로우, 깊이, 드리프트 보정에 대한 엔지니어링 세부 사항.
• 영상에서 스크립트까지, 단계별로파일에 일어나는 일과 결과가 저장되는 위치.
• AutoScript Sync funscript 생성기제공 내용, 사용 방법, 기기, 가격과 체험판.
• 홈페이지의 모델 가이드자세 모델과 깊이 모델 등급을 나란히 비교합니다.