Допис

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаBlockbeats1г тому

ЗМІ США: США та Іран працюють над вирішенням мовних розбіжностей щодо ядерних питань і санкцій

Аватар джерелаBlockbeats2г тому

巨鲸nemorino.eth杠杆增持7,908.3枚ETH

Аватар джерелаChainCatcher2г тому

YZi Labs запустила платформу для рекрутингу YZi Talent, інтегрувавши позиції у своєму портфоліо Web3, AI та біотехнологій

Аватар джерелаBlockbeats3г тому

Іранська делегація завершила свій порядок денний у Катарі і повернеться до Тегерана

Аватар джерелаBlockbeats3г тому

ICON офіційно припинить роботу наприкінці 2026 року, а дедлайн для міграції ICX на SODA підтверджено

Аватар джерелаBlockbeats3г тому

Кит поклав у Вінтермут 17,566 мільйона ENA, втративши близько 3,6 мільйона доларів

Аватар джерела币界网4г тому

Capital Macro: Навіть якщо конфлікт на Близькому Сході закінчиться у 2026 році, великі економіки все ще не мають перспектив зниження процентних ставок

Аватар джерелаBlockbeats4г тому

Цього тижня макроекономічні дані можуть домінувати на крипторинку, а PCE, заявки на допомогу з безробіття та дані про житло стануть ключовими індикаторами для зниження ставок ФРС

Аватар джерелаBlockbeats5г тому

Напередодні IPO SpaceX виникла суперечка щодо угоди з пов'язаними сторонами на суму $20 мільярдів, і друг Маска може використати IPO, щоб увійти до лідерів світового списку мільярдерів

Аватар джерелаChainCatcher5г тому

Squid: Інциденти безпеки не пов'язані з основними протоколами та контрактами Squid; усі користувачі та інтегратори Squid не постраждали