Post

智谱联合提出下一代大模型推理网络架构ZCube,破解PD分离引发的结构性网络拥塞

币界网
币界网
币界网消息,智谱联合驭驯网络与清华大学提出下一代大模型推理网络架构ZCube,旨在破解大模型PD(prefill-decode)分离部署中日益严峻的结构性网络拥塞难题。ZCube架构已在GLM-5.1 coding千卡线上生产环境落地。该架构通过取消spine层交换机,采用全网扁平化拓扑(2跳网络直径),结合单/多轨混合接入机制,实现了跨节点全网交换机之间的流量负载均衡。在基准测试中,ZCube架构相比传统架构减少了33%的交换机与光模块硬件支出,同时GPU平均推理吞吐率提升了15%,首token时延(TTFT)P99分位数下降了40.6%。

Ansvarsfriskrivning: OKX Orbit-innehåll tillhandahålls endast i informationssyfte. Läs mer

Svar

Inga kommentarer än. Var den första att svara!

Related Flash News

Källa för avatarBlockbeats7 m sedan

Den iranska delegationen avslutade sin agenda i Qatar och kommer att återvända till Teheran

Källa för avatarBlockbeats33 m sedan

En val deponerade 17,566 miljoner ENA i Wintermute, vilket ledde till cirka 3,6 miljoner dollar

Källa för avatar币界网1 t sedan

Kapitalmakro: Även om konflikten i Mellanöstern avslutas 2026 har de stora ekonomierna fortfarande inga utsikter att sänka räntorna

Källa för avatarBlockbeats2 t sedan

Den här veckan kan makrodata dominera kryptomarknaden, där PCE, arbetslöshetsansökningar och bostadsdata blir nyckelindikatorer för Fed:s räntesänkningar

Källa för avatarBlockbeats2 t sedan

På tröskeln till SpaceX:s börsintroduktion uppstod en kontrovers om en transaktion på 20 miljarder dollar mellan släktingar, och Musks vän kan använda börsintroduktionen för att rankas bland topparna på den globala miljardärslistan

Källa för avatarChainCatcher2 t sedan

Squid: Säkerhetsincidenter är inte relaterade till Squids kärnprotokoll och kontrakt; alla Squid-användare och integratörer har inte påverkats

Källa för avatar币界网2 t sedan

ZEC:s största korta position: ZEC:s korta positioner ökade med 3 093,62 mynt, med en total position på över 16,88 miljoner dollar

Källa för avatarBlockbeats2 t sedan

Unitree Technologys börsintroduktion på STAR Market kommer att hållas den 1 juni

Källa för avatarBlockbeats2 t sedan

Bitcoin-ETF:er har sett över 2 miljarder dollar i utflöden på två veckor, men analytiker säger att "institutionella fonder inte har lämnat."

Källa för avatarBlockbeats2 t sedan

Prometheum satsar på Wall Street-kanaler: Det tokeniserade värdepapper verkligen saknar är inte teknik, utan 'distribution'