2. Hogyan beszéljünk jól egy modellel
Prompt cache-elés
Amikor minden kérés ugyanazzal a nagy blokkal indul (céges szabálykönyv, stílusútmutató), a szolgáltató megjegyezheti azt a blokkot, ahelyett hogy minden alkalommal újraolvasná — komoly kedvezményért cserébe.
Miért számít: tisztán költségtrükk, de sokat számít — az ismétlődő részen gyakran 90%-os kedvezményt jelent. Nagy volumenű munkánál ez a különbség a megfizethető és a megfizethetetlen között.
Bence K. Csernak
Alapító
Több a(z) „Hogyan beszéljünk jól egy modellel” témában