Допис

智谱联合提出下一代大模型推理网络架构ZCube,破解PD分离引发的结构性网络拥塞

币界网
币界网
币界网消息,智谱联合驭驯网络与清华大学提出下一代大模型推理网络架构ZCube,旨在破解大模型PD(prefill-decode)分离部署中日益严峻的结构性网络拥塞难题。ZCube架构已在GLM-5.1 coding千卡线上生产环境落地。该架构通过取消spine层交换机,采用全网扁平化拓扑(2跳网络直径),结合单/多轨混合接入机制,实现了跨节点全网交换机之间的流量负载均衡。在基准测试中,ZCube架构相比传统架构减少了33%的交换机与光模块硬件支出,同时GPU平均推理吞吐率提升了15%,首token时延(TTFT)P99分位数下降了40.6%。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаBlockbeats7хв тому

Іранська делегація завершила свій порядок денний у Катарі і повернеться до Тегерана

Аватар джерелаBlockbeats33хв тому

Кит поклав у Вінтермут 17,566 мільйона ENA, втративши близько 3,6 мільйона доларів

Аватар джерела币界网1г тому

Capital Macro: Навіть якщо конфлікт на Близькому Сході закінчиться у 2026 році, великі економіки все ще не мають перспектив зниження процентних ставок

Аватар джерелаBlockbeats2г тому

Цього тижня макроекономічні дані можуть домінувати на крипторинку, а PCE, заявки на допомогу з безробіття та дані про житло стануть ключовими індикаторами для зниження ставок ФРС

Аватар джерелаBlockbeats2г тому

Напередодні IPO SpaceX виникла суперечка щодо угоди з пов'язаними сторонами на суму $20 мільярдів, і друг Маска може використати IPO, щоб увійти до лідерів світового списку мільярдерів

Аватар джерелаChainCatcher2г тому

Squid: Інциденти безпеки не пов'язані з основними протоколами та контрактами Squid; усі користувачі та інтегратори Squid не постраждали

Аватар джерела币界网2г тому

Найбільша коротка позиція ZEC: короткі позиції ZEC зросли на 3 093,62 монети, а загальна позиція перевищила $16,88 мільйона

Аватар джерелаBlockbeats2г тому

IPO STAR Market компанії Unitree Technology відбудеться 1 червня

Аватар джерелаBlockbeats2г тому

Біткоїн-ETF за два тижні отримали понад 2 мільярди доларів відходу, але аналітики кажуть, що «інституційні фонди не пішли».

Аватар джерелаBlockbeats2г тому

Prometheum робить ставки на канали Уолл-стріт: Токенізованим цінним паперам насправді бракує не технологій, а «розподілу»