Totul are sens. Google + Anthropic s-a concentrat pe pre-training, așa că ajungi mai repede la un răspuns bun, dar plafonul de capacitate este mai mic. OpenAI s-a concentrat pe post-antrenament, așa că răspunsurile excelente durează mai mult, dar poți împinge modelele mult mai departe.
Ca să fiu clar (am primit multe comentarii confuze), evident că nu vreau să spun că vreuna dintre aceste companii se concentrează exclusiv pe un singur lucru. OAI/Anthropic/Google se concentrează atât pe pre-training, cât și pe post-training (evident că există etape în cadrul acestora, doar simplific aici). Dar pare că OAI a făcut o treabă mai bună după pregătire, în timp ce Google/Anthropic a făcut o treabă mai bună în pre-formare. Toate sunt interconectate (un pre-antrenament mai bun face post-antrenamentul mai ușor/crește plafonul pentru post-antrenament, de exemplu). Acest lucru se manifestă în modul în care modelele se simt când lucrează cu ele zi de zi.
247