Post

智谱联合提出下一代大模型推理网络架构ZCube,破解PD分离引发的结构性网络拥塞

币界网
币界网
币界网消息,智谱联合驭驯网络与清华大学提出下一代大模型推理网络架构ZCube,旨在破解大模型PD(prefill-decode)分离部署中日益严峻的结构性网络拥塞难题。ZCube架构已在GLM-5.1 coding千卡线上生产环境落地。该架构通过取消spine层交换机,采用全网扁平化拓扑(2跳网络直径),结合单/多轨混合接入机制,实现了跨节点全网交换机之间的流量负载均衡。在基准测试中,ZCube架构相比传统架构减少了33%的交换机与光模块硬件支出,同时GPU平均推理吞吐率提升了15%,首token时延(TTFT)P99分位数下降了40.6%。

Disclaimer: i contenuti di OKX Orbit sono forniti solo a scopo informativo. Scopri di più

Risposte

Ancora nessun commento. Rispondi prima di tutti!

Related Flash News

Avatar di origineBlockbeats7minuti fa

La delegazione iraniana ha concluso la propria agenda in Qatar e tornerà a Teheran

Avatar di origineBlockbeats33minuti fa

Una balena ha depositato 17,566 milioni di ENA a Wintermute, perdendo circa 3,6 milioni di dollari

Avatar di origine币界网1ora fa

Capital Macro: Anche se il conflitto in Medio Oriente dovesse finire nel 2026, le principali economie non hanno ancora prospettive di tagliare i tassi d'interesse

Avatar di origineBlockbeats2ore fa

Questa settimana, i dati macroeconomici potrebbero dominare il mercato crypto, con PCE, richieste di disoccupazione e dati sull'abitazione che diventeranno indicatori chiave per i tagli dei tassi della Fed

Avatar di origineBlockbeats2ore fa

Alla vigilia dell'IPO di SpaceX, è emersa una controversia su una transazione di 20 miliardi di dollari tra le parti correlate, e l'amico di Musk potrebbe usare l'IPO per essere tra i primi dei miliardari globali

Avatar di origineChainCatcher2ore fa

Squid: Gli incidenti di sicurezza non sono correlati ai protocolli e contratti principali di Squid; tutti gli utenti e gli integratori di Squid non sono stati interessati

Avatar di origine币界网2ore fa

La più grande posizione short della ZEC: le posizioni short della ZEC sono aumentate di 3.093,62 monete, con una posizione totale superiore a 16,88 milioni di dollari

Avatar di origineBlockbeats2ore fa

L'IPO STAR Market di Unitree Technology si terrà il 1° giugno

Avatar di origineBlockbeats2ore fa

Gli ETF Bitcoin hanno registrato oltre 2 miliardi di dollari di uscite in due settimane, ma gli analisti affermano che "i fondi istituzionali non se ne sono andati."

Avatar di origineBlockbeats2ore fa

Prometheum scommette sui canali di Wall Street: ciò che manca davvero ai titoli tokenizzati non è la tecnologia, ma la 'distribuzione'