AINews misst 8×5090 + 4×PRO 6000: ~15.900 Tokens/s Prefill, ~294 Tokens/s Decode, ~5s TTFT bei 40k Prompt.
Durchsatz steigt von 209–229 Tokens/s (Single-User) auf 1.170 Tokens/s Spitze bei 32 Streams; p95 TTFT 2,7s bei 24 parallelen Nutzern.
AINews benchmarks 8×5090 + 4×PRO 6000: ~15,900 tok/s prefill, ~294 tok/s decode, ~5s TTFT on 40k cold prompt.
Throughput scales from 209–229 tok/s single-user to 1,170 tok/s peak at 32 streams; p95 TTFT 2.7s at 24 concurrent users.