Допис

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаBlockbeats4г тому

Генеральний директор Coinbase оголошує вісім фінансових візій, а бізнес-карта повністю відповідає «ончейн-стріт Уолл-стріт».

Аватар джерелаChainCatcher8г тому

Акції AI та напівпровідникової компанії залишаються активними, при цьому Gate лідирує в галузі у торгівлі контрактами, пов'язаними з NVIDIA-Micron,

Аватар джерела币界网13г тому

vLLM блокує «резюме преміум» і фальшивих PR-авторів, планує впровадити перевірку електронної пошти в корпоративних школах, щоб суворо запобігти спаму ШІ

Аватар джерела币界网16г тому

Luxshare Precision: Одночасний розвиток оптичної міді та плани провідних клієнтів щодо оптичних чипів не суперечать цьому

Аватар джерела币界网1д тому

NSA планує представити нову надсекретну модель Anthropic, а Білий дім виділить 9 мільярдів доларів на вирішення проблеми нестачі обчислювальної потужності

Аватар джерела币界网3д тому

Інституції: індекс S&P 500 готується до найсильнішого зростання прибутків з 2021 року

Аватар джерелаBlockbeats3д тому

Аналіз: IPO SpaceX може розширити експозицію Nasdaq BTC, але може стати короткостроковим негативним фактором для технологічних акцій і відкачування коштів Bitcoin

Аватар джерелаChainCatcher4д тому

Стартап у сфері ШІ Hark завершив раунд серії A на суму 700 мільйонів доларів за оцінкою 6 мільярдів доларів, очолюваний Parkway Venture Capital

Аватар джерелаOdaily4д тому

Білий дім відклав церемонію підписання виконавчого указу щодо ШІ

Аватар джерелаOdaily4д тому

Ціна акцій Nvidia впала на 2%, а падіння Intel розширилося до 4,3%.