Innlegg

智谱联合提出下一代大模型推理网络架构ZCube,破解PD分离引发的结构性网络拥塞

币界网
币界网
币界网消息,智谱联合驭驯网络与清华大学提出下一代大模型推理网络架构ZCube,旨在破解大模型PD(prefill-decode)分离部署中日益严峻的结构性网络拥塞难题。ZCube架构已在GLM-5.1 coding千卡线上生产环境落地。该架构通过取消spine层交换机,采用全网扁平化拓扑(2跳网络直径),结合单/多轨混合接入机制,实现了跨节点全网交换机之间的流量负载均衡。在基准测试中,ZCube架构相比传统架构减少了33%的交换机与光模块硬件支出,同时GPU平均推理吞吐率提升了15%,首token时延(TTFT)P99分位数下降了40.6%。

Ansvarsfraskrivelse: OKX Orbit-innholdet er kun gitt for informasjonsformål. Finn ut mer

Svar

Ingen kommentarer ennå. Vær den første til å svare!

Related Flash News

KildeavatarBlockbeats7m siden

Den iranske delegasjonen avsluttet sin agenda i Qatar og vil returnere til Teheran

KildeavatarBlockbeats33m siden

En hval deponerte 17,566 millioner ENA i Wintermute, og tapte omtrent 3,6 millioner dollar

Kildeavatar币界网1t siden

Kapitalmakro: Selv om Midtøsten-konflikten skulle avsluttes i 2026, har de store økonomiene fortsatt ingen utsikter til å kutte rentene

KildeavatarBlockbeats2t siden

Denne uken kan makrodata dominere kryptomarkedet, med PCE, arbeidsledighetskrav og boligdata som nøkkelindikatorer for Feds rentekutt

KildeavatarBlockbeats2t siden

På kvelden før SpaceXs børsnotering oppsto en kontrovers om transaksjoner på 20 milliarder dollar mellom beslektede parter, og Musks venn kan bruke børsnoteringen til å rangere blant toppen av den globale milliardærlisten

KildeavatarChainCatcher2t siden

Squid: Sikkerhetshendelser er ikke relatert til Squids kjerneprotokoller og kontrakter; alle Squid-brukere og integratorer er ikke berørt

Kildeavatar币界网2t siden

ZECs største korte posisjon: ZECs shortposisjoner økte med 3 093,62 mynter, med en total posisjon på over 16,88 millioner dollar

KildeavatarBlockbeats2t siden

Unitree Technologys børsnotering i STAR Market vil finne sted 1. juni

KildeavatarBlockbeats2t siden

Bitcoin-ETF-er har hatt over 2 milliarder dollar i utstrømning på to uker, men analytikere sier at «institusjonelle fond ikke har forlatt det.»

KildeavatarBlockbeats2t siden

Prometheum satser på Wall Street-kanaler: Det tokeniserte verdipapirer virkelig mangler, er ikke teknologi, men 'distribusjon'