$

inference-simulator

Rasa sendiri kelajuan anggaran: teks keluar pada tok/s yang dikira, dan beza TTFT antara permintaan pertama (cold) dengan soalan susulan (prefix cache).

01. Konfigurasi

← ubah dalam kalkulator

02. Prompt

📄 ·

Soalan 1

Soalan 2

Memuat tokenizer… (sementara guna anggaran ~4 aksara/token)

03. Anggaran

Prefill = 2 × P × N_prompt / (TFLOPS × 50%), minimum satu bacaan penuh berat. Decode = tok/s sama seperti jadual kalkulator. Anggaran ±30%; kos attention kuadratik untuk prompt sangat panjang diabaikan.

Simulasi streaming

Run 1 — cold

Prompt baru: prefill penuh dokumen + soalan

TTFT—
Masa—
Token—
tok/s—

Run 2 — susulan (prefix cache)

Dokumen + jawapan 1 sudah dalam KV cache — hanya soalan baru di-prefill

TTFT—
Masa—
Token—
tok/s—

Garis masa (skala sama)

Prefill (menunggu token pertama) Decode (teks keluar)