Publikuj

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Zastrzeżenie: Treść na OKX Orbiter ma charakter wyłącznie informacyjny. Dowiedz się więcej

Odpowiedzi

Brak komentarzy. Bądź pierwszą osobą, która odpowie!

Related Flash News

Awatar źródłowyBlockbeats19min temu

Media amerykańskie: USA i Iran pracują nad rozwiązaniem różnic językowych w kwestiach nuklearnych i sankcji

Awatar źródłowyBlockbeats55min temu

巨鲸nemorino.eth杠杆增持7,908.3枚ETH

Awatar źródłowyChainCatcher1godz. temu

YZi Labs uruchomiło platformę rekrutacyjną YZi Talent, integrując stanowiska w swoim portfolio Web3, AI i biotechnologii

Awatar źródłowyBlockbeats1godz. temu

Delegacja irańska zakończyła swój program w Katarze i powróci do Teheranu

Awatar źródłowyBlockbeats1godz. temu

ICON oficjalnie zostanie zamknięty pod koniec 2026 roku, a termin migracji ICX do SODA został potwierdzony

Awatar źródłowyBlockbeats2godz. temu

Wieloryb zdeponował 17,566 miliona ENA na w Wintermute, tracąc około 3,6 miliona dolarów

Awatar źródłowy币界网3godz. temu

Makroekonomia kapitału: Nawet jeśli konflikt na Bliskim Wschodzie zakończy się w 2026 roku, główne gospodarki nadal nie mają perspektyw na obniżenie stóp procentowych

Awatar źródłowyBlockbeats3godz. temu

W tym tygodniu dane makroekonomiczne mogą zdominować rynek kryptowalut, a dane PCE, wnioski o bezrobocie i mieszkania staną się kluczowymi wskaźnikami obniżek stóp procentowych przez Fed

Awatar źródłowyBlockbeats3godz. temu

W przeddzień IPO SpaceX pojawiła się kontrowersja dotycząca transakcji powiązanych ze stronami na 20 miliardów dolarów, a przyjaciel Muska może wykorzystać IPO, by znaleźć się wśród czołówki światowej listy miliarderów

Awatar źródłowyChainCatcher3godz. temu

Squid: Incydenty bezpieczeństwa nie mają związku z podstawowymi protokołami i kontraktami Squid; wszyscy użytkownicy i integratorzy Squid nie zostali dotknięci