Darabolás (chunking)

A dokumentumok bekezdésnyi darabokra vágása, és minden darab külön iktatása, hogy később megtalálható legyen. A keresés darabokat ad vissza, nem egész könyveket — a darabolás az a döntés, hogy mekkora egy darab.

Ha túl kicsire vágod, mindegyik elveszíti a fonalat, amiről beszélt. Ha túl nagyra, a válasz három bekezdésnyi oda nem illő szöveg alá temetve érkezik.

Miért számít: egyáltalán nem látványos döntés, és mégis szinte mindennél többet határoz meg a válaszok minőségéből. Ha egy dokumentumaidat olvasó AI folyton félbevágott gondolatokból válaszol — jó téma, térdből levágott mondat —, akkor a darabolás a rossz. Ez javítható beállítás, nem pedig az, hogy gyenge az AI.

Kapcsolódó: Visszakeresés · Tudásbázis