Benchmark

Nyilvános vizsga, amit minden AI-cég letesz, hogy felkerüljön a ranglistára. Ez is kiértékelés — rögzített kérdések ismert válaszokkal —, csak közös, kívülállók állítják össze, és olyan kérdésekből áll, amiknek semmi közük a te üzletedhez. Ezek a pontszámok szerepelnek a bejelentésekben.

Ranglisták, a szokásos fenntartással. A tabella teteje azt mutatja, hogy egy csapat jó. Azt nem, hogy a te pályádon, a te időjárásodban is nyerni fog.

Miért számít: a benchmark-pontszám azt mutatja, hogy egy modell általában véve képes valamire, és semmit nem mond a te feladatodról a te adataidon. Sose válassz modellt pusztán benchmark alapján — futtasd le a saját etalonkészletedet, ami ugyanez az ötlet a te kérdéseiddel és a te helyes válaszaiddal. Húsz valódi saját eset többet mond bármelyik ranglistánál.

Kapcsolódó: Kiértékelés (eval) · Etalonkészlet