Tất cả mọi người đều sốc về việc Rich Sutton có những quan điểm rất tệ về LLM (có thể tôi sẽ đi xa đến mức sử dụng từ R), hãy nhớ rằng nhiều nhà vật lý lớn tuổi và uy tín nhất vào đầu thế kỷ đã coi lý thuyết lượng tử là điên rồ và sai lầm.

Câu nói nổi tiếng rằng "khoa học tiến bộ từng đám tang một" có lý do của nó. Bạn có thể gặp một vài người già như Kurzweil, người hoàn toàn hiểu điều này (hoặc ít nhất là đã hiểu cách đây vài năm), nhưng nhìn chung, thật khó để bộ não của người cao tuổi có thể thay đổi quan điểm một cách triệt để.

Ngoài ra, tôi tương tác với nhiều LLM tiên tiến hơn 12 giờ mỗi ngày, như nhiều bạn khác. Tôi nghi ngờ rằng Sutton đã sử dụng những mô hình này một cách chuyên sâu để thực hiện công việc sáng tạo, kỹ thuật cao ở mức độ cường độ đó, và do đó không có cảm nhận sâu sắc về những gì chúng có thể làm.

“Một sự thật khoa học mới không chiến thắng bằng cách thuyết phục những người phản đối và khiến họ thấy ánh sáng, mà ngược lại, vì những người phản đối cuối cùng sẽ chết đi và một thế hệ mới lớn lên quen thuộc với nó… Một đổi mới khoa học quan trọng hiếm khi tiến vào bằng cách từ từ chinh phục và chuyển đổi những người phản đối: hiếm khi xảy ra việc Saul trở thành Paul. Điều xảy ra là những người phản đối dần dần biến mất, và thế hệ đang lớn lên được làm quen với những ý tưởng từ đầu: một ví dụ khác về thực tế rằng tương lai thuộc về giới trẻ.” — Max Planck, Tự truyện khoa học, 1950

Nhân tiện, một phần lý do khiến Kurzweil hiểu rõ tất cả những điều này trong tuổi già của ông là vì ông gần như là người duy nhất (được rồi, có thể câu lạc bộ có thêm một vài người nữa) đã dự đoán điều này một cách nhất quán trong một thời gian dài. Vì vậy, ông thực sự không cần phải điều chỉnh những giả định ban đầu của mình nhiều.

Trong khi hầu hết những người "có kinh nghiệm" trong lĩnh vực AI như Sutton đã trải qua những ngày đầu, cuộc chiến giữa những người ngăn nắp và những người lôi thôi, Cuộc tranh luận Lighthill, Mùa đông AI, Hệ thống Chuyên gia, v.v. Họ đã quen với việc thấy những thứ có vẻ hứa hẹn nhưng sau đó không thực sự hoạt động mặc dù có rất nhiều sự cường điệu và đầu tư. Đó là điều trước đó.

Nhưng kiến trúc Transformer là sự trừu tượng hoàn toàn có thể phân biệt, hoàn chỉnh Turing của một máy tính tổng quát với mức độ tổng quát và sức mạnh biểu đạt đúng, và cuối cùng chúng tôi đã tìm ra những mẹo để huấn luyện chúng và có đủ FLOPS và dữ liệu để thực hiện tất cả điều đó ngay bây giờ.

Và, như Ilya nói, những mô hình này, "chúng chỉ muốn học." Thật sự rất khó xảy ra a priori rằng mọi thứ sẽ hoạt động trong thực tế (mặc dù có thể không vì chúng ta được bao quanh bởi những ví dụ điển hình hàng ngày chạy trên ít hơn 300 watt). Nhưng thực sự thì nó hoạt động.

Nhưng ngay cả như vậy, không phải là điều này là một quan sát chưa từng có trong lịch sử khoa học. Ai có thể đoán trước rằng bạn có thể giải thích hầu hết các hiện tượng vật lý tự nhiên quan sát được ex-gravity bằng cách sử dụng một tích trực tiếp của 3 nhóm Lie (còn gọi là Mô hình chuẩn của Vật lý)?

Chúng tôi thậm chí có một cái tên cho điều đó: "hiệu quả không hợp lý" của toán học trong các khoa học tự nhiên. Trong trường hợp này, phép nhân ma trận lặp lại, một số phi tuyến đơn giản, và quy tắc chuỗi theo chiều ngược lại với một số mẹo để giúp ổn định số và dòng gradient.

@goldstein_aa Tất cả những điều đó có nghĩa là, AGI đã ở đây rồi và chỉ vì việc liên tục di chuyển mục tiêu, kỹ năng gợi ý kém và những câu hỏi gây khó dễ ngớ ngẩn (đã phần lớn được giải quyết) mà có ai đó tranh cãi về điều đó.