Câu chuyện xung quanh LLM là chúng trở nên tốt hơn chỉ bằng cách mở rộng *tính toán* tiền huấn luyện. Thực tế, chúng trở nên tốt hơn bằng cách mở rộng *dữ liệu* tiền huấn luyện, trong khi tính toán chỉ là một phương tiện để nhồi nhét nhiều dữ liệu hơn vào mô hình. Dữ liệu là nút thắt cơ bản. Bạn không thể mở rộng tính toán tiền huấn luyện mà không có nhiều dữ liệu hơn. Và cho đến nay, dữ liệu này chủ yếu do con người tạo ra - hơn 20.000 người đã được tuyển dụng toàn thời gian trong vài năm qua để cung cấp chú thích nhằm huấn luyện LLM. Ngay cả khi dữ liệu đến từ các môi trường RL, các môi trường đó vẫn phải được con người thiết kế một cách có chủ đích. Và đó là nút thắt cơ bản ở đây: những mô hình này hoàn toàn phụ thuộc vào đầu ra của con người. Chúng là một cơ sở dữ liệu nội suy của những gì chúng ta đưa vào chúng.

Trong khi đó, AGI thực sự sẽ cải thiện chỉ bằng cách thêm nhiều *tính toán*. Nó sẽ không bị hạn chế bởi sự sẵn có của văn bản do con người tạo ra.