Tout cela a du sens. Google + Anthropic se concentre sur le pré-entraînement, donc vous obtenez une excellente réponse plus rapidement, mais le plafond de capacité est plus bas. OpenAI se concentre sur le post-entraînement, donc les excellentes réponses prennent plus de temps, mais vous pouvez pousser les modèles beaucoup plus loin.
Pour être clair (je reçois beaucoup de commentaires confus), je ne veux évidemment pas dire que ces entreprises se concentrent uniquement sur une seule chose. OAI/Anthropic/Google se concentrent tous sur l'apprentissage préalable et l'apprentissage postérieur (évidemment, il y a des étapes à l'intérieur de cela, je simplifie juste ici). Mais il semble qu'OAI ait mieux réussi l'apprentissage postérieur tandis que Google/Anthropic ont mieux réussi l'apprentissage préalable. Ils sont tous interconnectés (un meilleur apprentissage préalable facilite l'apprentissage postérieur/augmente le plafond pour l'apprentissage postérieur, par exemple). Cela se manifeste dans la façon dont les modèles se ressentent au quotidien.
117,59K