Cache-elés

Egy válasz megjegyzése, hogy ugyanaz a kérdés legközelebb azonnal és ingyen megválaszolható legyen, egy megállapodott lejárati idővel (TTL — time to live, élettartam), amíg friss választ nem kell lekérni.

Miért számít: ez az AI-üzemeltetés első spórolási fogantyúja: ugyanazért a kérdésért nem kellene kétszer fizetni. A cserébe kapott kockázat az elavulás — a cache-elt válasz tegnapi válasz, így a lejárati idő üzleti döntés.