生成の品質と速度の測り方

スクリプトの採点方法

ファンスクリプトは位置の時間変化のリストです。採点はその折り返し点から始まります：スクリプトが一方向への動きを止めて逆方向へ動き始めるすべての点です。生成したスクリプトの折り返し点を、動画の同じ区間での参照スクリプトの折り返し点と比較します。

照合

生成した折り返し点が参照の折り返し点から ±150 ms 以内にあれば一致とみなします。それより離れていれば、一方では見逃し、もう一方では余分な折り返しになります。

F1

参照の折り返し点のうちいくつを見つけたか、そして生成した折り返し点のうちいくつが本物だったかを組み合わせた 1 つの数値です。1.0 はすべての折り返しが一致し、でっち上げたものが 1 つもないことを意味します。見逃しも余分な折り返しも、どちらも数値を下げます。

タイミング誤差

一致した折り返し点についてのみ、2 つの折り返しが何ミリ秒離れているかを、中央値と 90 パーセンタイルで示します。平均値や 95 パーセンタイルは算出していません。一致しなかった折り返しはこの数値から除かれるため、タイミング誤差は必ずそれに対応する F1 と並べて読む必要があります。F1 が低いときのタイミング誤差の低さは、見つかった折り返しだけについての値です。

ストロークの大きさの比

生成したスクリプトのストローク長の中央値を、参照のストローク長の中央値で割ったもので、照合は行いません。1.0 は平均して正しい大きさのストロークを意味し、1.0 未満はストロークが小さすぎることを意味します。

折り返しの頻度と待機中の動き

手作りのスクリプトとの比較では、1 秒あたりの方向転換の回数と、スクリプト作成者がアクションなしと指定した区間でスクリプトがどれだけ動き続けているかも数えます。

1 本の動画で同じ設定のまま繰り返し実行すると F1 は約 ±0.005 ばらついたため、2 つのバージョンや設定の間の 0.01 F1 未満の差はノイズとして扱います。

参照スクリプトの出どころ

スコアの良し悪しは比較対象のスクリプト次第ですが、プロジェクトの歴史の大半において、そのスクリプトは独立したものではありませんでした。

2026 年 9 月 19 日まで：Live Track の参照

2026 年 9 月 19 日より前に記録された F1、タイミング、ストロークの大きさの数値はすべて、エンジンを Live Track の参照と比較したものです。それらは 2026 年 8 月 22 日時点のエンジン自身の出力を、人がトラッキングボックスをドラッグして誘導したもので、手作りのスクリプトではありません。新しいバージョンがそれらと食い違うのは、そのバージョンが劣っているからかもしれませんし、参照を作ったエンジンより優れているからかもしれません。そのため、これらの比較は悪い変更を止めることはできても、改善を確認することはできません。そこから得た数値は、私たちの参照との一致度としてしか表現できず、手作りのスクリプトに対する精度として表現することは決してできません。このサイトに掲載されていた「27 ms」というタイミングの数値は、この種の比較から得たものです。

2026 年 9 月 19 日以降：ブラインドで手作りしたクリップ

現在の正解データは、ブラインドの手順で手作りした短いクリップのスクリプトから得ています：

1. テスト用の動画から、固定の乱数シードで選んだ区間で 12 秒のクリップを切り出します。各クリップにはランダムな名前が付き、音声、タイトル、タイムコードはありません。
2. 各クリップがどの動画から来たかを示す対応表は別に保管し、スクリプト作成中は開かず、作成の順序も動画が混ざるようにします。
3. スクリプト作成者は、最初のクリップを作成する前に固定した文書化されたルールに従って、各クリップのファンスクリプトを手作業で作ります。
4. 採点するのは各クリップの中央の 8 秒だけで、両端の 2 秒ずつは採点しません。
5. 同じ区間のエンジンのスクリプトを、上記の指標で手作りのスクリプトと比較して採点します。

正解データ自体のチェックとして、確認した 9 クリップのうち 7 クリップで、スクリプト作成者のストローク頻度が動画自体の主要な動きの周波数と約 0.1 Hz 以内で一致しました。

2026 年 9 月 19 日に採点した最初のバッチ（5 本の動画から 28 クリップ）には、はっきり述べておくべき 2 つの制限があります。1 人（開発者）がスクリプトを作成したこと。そして、クリップはデフォルト設定の調整に使ったのと同じ 5 本の動画から取ったもので、ホールドアウトされたものが何もないことです。これは探索用のバッチで、弱点を見つけるのには役立ちますが、見出しにする数値には向きません。

まだ測定していないこと

• 他のグラフィックカード。 時間を計測したのは RTX 5080 だけです。ミドルレンジのカードの数値はありません。
• プロセッサーのみ。 アプリは NVIDIA のグラフィックカードがなくても、より遅くはなりますが動作します。ただし、その時間は計測していません。
• 現在の設定での High と Fast のティア。 どちらについても現在の計測値はありません。
• インストール版のアプリ。 これまでの測定はすべて、インストーラーのビルドではなくソースから実行したものです。
• 手作りのスクリプトに対するタイミング誤差。 手作りのバッチには F1、折り返しの頻度、ストロークの大きさ、待機中の動きの数値はありますが、ミリ秒単位のタイミング誤差はまだありません。
• 実際のセッションでのデバイスの遅延とドリフト。 デバイスが実際にどれだけ正確に動画に追従しているかは何も記録していません。Autoblow AI Ultra の往復遅延、ドリフト、開始時のずれは測定しておらず、Intiface デバイスや DeoVR についても同様です。アプリが Autoblow のドリフトを補正する仕組みで説明しているドリフトのしきい値はアプリの目標値であり、測定結果ではありません。実機でテストしたのは Autoblow AI Ultra だけで、The Handy、Kiiroo、Lovense、OSR2/SR6 はシミュレートしたデバイスでのみテストしています。
• ホールドアウトの精度バッチ。 設定の調整に一度も使っていない動画から取ったクリップのバッチは、まだ採点していません。
• デフォルトのアプリでの動きの種類の分類。 実行中のアプリが使う特徴量での精度は一度も測定していません。

結果の公開時期

手作りのスクリプトによる最初のバッチは採点済みです。そこからエンジンの弱点がわかりました：速いシーンではスクリプト作成者より折り返しが少なく、最も速いシーンではストロークが小さくなり、アクションのない区間でも動き続けます。このバッチの F1 やストロークの大きさの数値は精度の数値として引用していません。クリップはデフォルトの調整に使った動画から取ったもので、スクリプト作成者も 1 人だったためです。

このサイトに精度の数値を掲載する前に、設定の調整に使っていない動画からホールドアウトのバッチを切り出し、同じ方法で採点します。採点が済んだら、このページに上記の方法、クリップと動画の数、スクリプトの作成者とともに数値を掲載します。今後追加する速度の数値にも、上記と同じ条件（グラフィックカード、ティア、フレームレート、解像度、ビルド）を付けます。時期は決めていません。

よくある質問

次に読む

• エンジンの仕組み姿勢、オプティカルフロー、深度と、それぞれがスクリプトにどう寄与するか。
• ドリフト補正Autoblow AI Ultra での再生を動画と同期させ続ける仕組みと、その中で測定しているもの・していないもの。
• Report Studioご自身の生成のレポートをブラウザで確認します。
• ローカル処理ここで計測している解析は、お使いの PC 上で実行されます。