Válaszidő (latency)

Az, hogy mennyit vársz a válaszra — abban mérve, ahogy érződik, nem abban, ahogy számolják.

Gyakran „p95 3 másodperc alatt” formában látod leírva. Ez azt jelenti: minden száz kérésből kilencvenöt három másodpercen belül visszaér. Ígéret a rosszakról, nem az átlagról — mert egy kétmásodperces átlag még mindig elrejti azt az egy ügyfelet húszból, aki tizenöt másodpercet várt, és feladta.

Miért számít: a sebesség termékjellemző, méghozzá olyan, amit szerződésbe lehet írni és tesztelni lehet. Érdemes tudni, hogy az ügynökök egymásra rakják: öt egymás utáni AI-lépés öt egymáshoz adódó várakozás, tehát egy lánc, amiben minden lépés négy másodperc, húsz másodpercig várakoztat valakit. Ez korán meghozott döntés, nem későn felfedezett meglepetés — és a „mennyi ezen a p95?” teljesen jogos kérdés ahhoz, aki megépíti.

Kapcsolódó: Streamelés · Cache-elés