Публикация

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Дисклеймер: контент OKX Orbit предоставляется исключительно в информационных целях. Подробнее

Ответы

Комментариев еще нет. Будьте первым!

Related Flash News

Аватар по умолчаниюBlockbeats4 ч. назад

Генеральный директор Coinbase объявляет восемь финансовых видений, с бизнес-картой, полностью соответствующей «он-чейн-Уолл-стрит».

Аватар по умолчаниюChainCatcher8 ч. назад

Акции ИИ и полупроводников остаются активными, при этом Gate лидирует в отрасли по торговле контрактами, связанными с NVIDIA-Micron,

Аватар по умолчанию币界网13 ч. назад

vLLM блокирует «резюме премиум» и фальшивых PR-авторов, планирует внедрить проверку электронной почты в корпоративных школах, чтобы строго предотвратить спам ИИ

Аватар по умолчанию币界网17 ч. назад

Luxshare Precision: Одновременное развитие оптической меди и планы ведущих клиентов по оптическим чипам не противоречат этому

Аватар по умолчанию币界网1 д. назад

АНБ планирует представить совершенно секретную новую модель Anthropic, при этом Белый дом выделит 9 миллиардов долларов на решение проблемы нехватки вычислительной мощности

Аватар по умолчанию币界网3 дн. назад

Учреждения: Индекс S&P 500 готовится к самому сильному росту прибыли с 2021 года

Аватар по умолчаниюBlockbeats3 дн. назад

Анализ: IPO SpaceX может увеличить экспозицию Nasdaq BTC, но может стать краткосрочный медвежьим фактором для технологических акций и откачивания биткоинов-фондов

Аватар по умолчаниюChainCatcher4 дн. назад

Стартап в области искусственного интеллекта Hark завершил раунд серии A на сумму 700 миллионов долларов при оценке 6 миллиардов долларов, возглавляемый Parkway Venture Capital

Аватар по умолчаниюOdaily4 дн. назад

Белый дом отложил церемонию подписания исполнительного указа по ИИ

Аватар по умолчаниюOdaily4 дн. назад

Цена акций Nvidia упала на 2%, а падение Intel увеличилось до 4,3%.