Kiértékelés (eval)

Megismételhető teszt arról, hogy jó-e az AI: rögzített, valódi kérdések ismert helyes válaszokkal, végigfuttatva a rendszeren és pontozva — egy változtatás előtt és után, mindig ugyanúgy.

A próbaút, amit minden furgonnal megcsinálsz a telepen, ugyanazon az útvonalon, hogy az összehasonlításnak legyen értelme.

Miért számít: kiértékelés nélkül a „szerintem most jobb” csak érzés. Vele bizonyítani tudod, hogy egy változtatás segített — és ami még fontosabb, elkapod azokat a változtatásokat, amik csendben elrontottak valamit, ami eddig működött. Ez folyton megtörténik: megjavítasz egy dolgot, három másik romlik el, és két hétig senki nem veszi észre. A kiértékelésből tudod meg a valódi pontosságodat is, mielőtt egy ügyfél tudná meg. Pontosan itt válik el a „sikeres demó” a „tényleg működik”-től.

Kapcsolódó: Etalonkészlet · Benchmark