Az a folyamat, amikor a modell ténylegesen fut — vagyis választ ad. Ez különbözik a tanítástól (attól, amikor maga a modell egyáltalán elkészül). Az inferenciáért minden egyes alkalommal fizetsz; a tanítás egyszer történt meg, régen, az AI-cégnél.
Miért számít: az „inferencia-költség” az, ami a számládon megjelenik. Ha valaki azt mondja, „EU-s inferencia”, arra gondol, hogy a modell európai szervereken fut — ez megfelelőségi (compliance) kérdés, nem technikai.