Token-költség

Kezdjük az egységgel, mert az egész téma ezen áll: az AI-t tokenenként számlázzák — szódarabonként, ami nagyjából egy szó háromnegyede —, méghozzá mindkét irányban: arra is, amit beküldesz, és arra is, ami visszajön. Óra, ami oda-vissza ketyeg.

A költségfegyelem az, hogy ezt az órát olyasminek tekinted, ami köré tervezel, nem olyasminek, amit a számlán fedezel fel: a legolcsóbb szint, ami elvégzi a munkát, cache-elés, hogy ugyanazt a kérdést ne fizesd ki kétszer, batch mindenre, ami ráér estig, kemény felső korlát a mennyiségre — és minden időzítve futó feladat mellé odaírva, mennyibe kerül havonta.

Miért számít: az AI-költségek a használattal nőnek, csendben, és épp a siker az, ami szétveri a büdzsét — az a funkció fut fel, amit mindenki szeret. Semmi nem figyelmeztet. A szokás, ami megment, unalmas és működik: tudd, mennyibe kerül egy feladat, mielőtt minden éjjel elindítod.

Kapcsolódó: Token · Modellszintek · Cache-elés · Batch