السرد حول LLMs هو أنهم تحسنت فقط عن طريق توسيع نطاق التدريب المسبق * الحوسبة *. في الواقع ، لقد تحسنت من خلال توسيع نطاق * البيانات * للتدريب المسبق ، في حين أن الحوسبة ليست سوى وسيلة لنهاية حشر المزيد من البيانات في النموذج. البيانات هي عنق الزجاجة الأساسي. لا يمكنك توسيع نطاق الحوسبة قبل التدريب بدون المزيد من البيانات. وحتى الآن تم إنشاء هذه البيانات بشكل أساسي من قبل الإنسان - تم توظيف أكثر من 20,000 شخص بدوام كامل خلال السنوات القليلة الماضية لتقديم تعليقات توضيحية لتدريب LLMs. حتى عندما تأتي البيانات من RL envs ، لا يزال يتعين على البشر أن يصنعوا يدويا عن قصد. وهذا هو عنق الزجاجة الأساسي هنا: هذه النماذج تعتمد كليا على الإنتاج البشري. إنها قاعدة بيانات استيفائية لما نضعه فيها.

وفي الوقت نفسه ، سيتحسن الذكاء الاصطناعي العام ببساطة عن طريق إضافة المزيد * الحوسبة *. لن يتم تعقيقه بسبب توفر النص الذي تم إنشاؤه بواسطة الإنسان.