跳轉至主要內容
行情
掃鏈
追蹤
信號
跟單
兌換
資產
邀請計劃
更多
產品
DeFi
市場
安全中心
開發者中心
X Layer
探索 X Layer
X Layer 瀏覽器
跨鏈橋
開發者文檔
測試網水龍頭
GitHub
Wallet API
探索 Wallet API
API 文檔
API Key 管理
區塊鏈瀏覽器
DApp 連接錢包
Boost
X Launch
參與 X Launch,搶先賺新幣
X Campaign
參與活動,贏取豐厚獎勵
獎勵中心
領取獎勵和空投
預警
語言
貨幣
顏色設置
下載 OKX Wallet
Web3 指南
公告
返回
繁體中文
简体中文
English
Tiếng Việt
Русский
Español (Latinoamérica)
Bahasa Indonesia
Français
Deutsch
Italiano
Polski
Čeština
Română
Português (Portugal)
Português (Brasil)
Українська
Español (España)
Nederlands
العربية
日本語
Norsk (bokmål)
Suomi
Svenska
Türkçe
返回
返回
學院
幫助中心
熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
Hosico
+11.6%
USELESS
+1.14%
IKUN
-4.54%
gib
+0.19%
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
Bonk
-1.81%
ALON
+4.82%
LAUNCHCOIN
+1.9%
GOONC
+2.64%
KLED
-17.63%
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
BOOP
-0.02%
Boopa
+3.07%
PORK
0.00%
主頁
Larry Dial
AWS的資料工程師。以及人工智慧研究。
查看原文
Larry Dial
1月12日 10:52
新的 NanoGPT 速度挑戰世界紀錄為 106.9 秒(減少 2.3 秒),由 @.andrewbriand 和 @.jrauvola 在 Github 上創造。他們觀察到 torch 編譯器為 Relu(x)^2 激活執行了一個低效的單獨內核,並添加了一個 triton 內核來將激活融合到之前的線性操作中。
59
Larry Dial
1月8日 02:06
新的 NanoGPT 速度跑 WR 在 109.2 (-3.5s),搭配另一個新穎的(?) 注意力升級,稱為配對頭注意力。查詢可以關注相鄰頭的鍵,使每個 Q 能夠在每個目標位置檢索 2 個值,而不是 1。對於零參數的影響為 3%!
76
Larry Dial
1月6日 03:38
新的 NanoGPT 速度跑 WR 為 112.7 (-1.0s),特徵是使用 bfloat16 的權重,優化器中額外 16 位元,並進行交錯通訊。靈感來自 @YouJiacheng 和 @ChrisJMcCormick。此外,Adam 優化器的步伐頻率是 Muon 的一半,lm_head 的 beta1=0.5。
85
熱門
排行
收藏