Kali ini, pada kenyataannya, berbeda. Mengabaikan LLM hanya sebagai "prediktor token berikutnya" sama konyol dan reduktifnya dengan menggambarkan otak sebagai "kumpulan neuron yang melakukan pensinyalan elektrokimia." Bukti yang paling meyakinkan adalah universalitas ekstrem mereka di seluruh modalitas.
Jeffrey Emanuel
Jeffrey Emanuel27 Sep, 22.43
Tetapi arsitektur Transformer adalah abstraksi lengkap Turing pertama yang sepenuhnya dapat dibedakan dari komputer generik universal dengan tingkat keumuman dan kekuatan ekspresif yang tepat, dan kami akhirnya menemukan trik untuk melatihnya dan memiliki FLOPS dan data untuk melakukan semuanya sekarang.
Jika seseorang memberi tahu Anda pada tahun 2005 bahwa, 20 tahun dari sekarang, keadaan mutlak dalam algoritma pengenalan suara adalah sistem dasar yang sama (jaring saraf dalam dengan perhatian) sebagai algoritme pengenalan gambar terbaik...
… yang juga kebetulan sama dengan generasi teks bahasa alami terbaik, sintesis ucapan terbaik, pembuatan gambar terbaik, dll., Anda mungkin akan berpikir mereka skizofrenia, atau setidaknya berbicara omong kosong. Karena masing-masing area itu dulunya memiliki tekniknya sendiri.
Salah satu konsep kunci dalam metode ilmiah, dan pemikiran rasional secara umum, adalah memberikan preferensi yang kuat pada penjelasan dan teori yang menunjukkan penghematan ekstrim, di mana Anda mendapatkan jauh lebih banyak daripada yang Anda masukkan. Seperti 4 persamaan Maxwell yang menjelaskan ratusan hal berbeda.
Di luar fisika, sulit untuk memikirkan contoh yang lebih baik dari satu mekanisme atau sistem yang dapat melakukan begitu banyak dari begitu sedikit. Mengganti semua kompleksitas ini dengan satu konsepsi pemersatu (yang kebetulan sangat mirip dalam bentuk ideal bagaimana otak manusia bekerja)...
5,31K