Publier

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Avertissement : les contenus d'OKX Orbit sont uniquement publiés à titre informatif. En savoir plus

Réponses

Aucun commentaire pour le moment. Soyez le premier à répondre !

Related Flash News

Avatar sourceBlockbeatsIl y a 3 h

Le PDG de Coinbase annonce huit visions financières, avec une carte commerciale entièrement alignée sur « Wall Street on-chain ».

Avatar sourceChainCatcherIl y a 6 h

Les actions de l’IA et des semi-conducteurs restent actives, Gate étant en tête du secteur dans le trading de contrats liés à NVIDIA-Micron

Avatar source币界网Il y a 11 h

vLLM bloque les contributeurs de « prime de CV » et de fausses relations publics, prévoit d’introduire la vérification des e-mails dans les écoles d’entreprise pour empêcher strictement le spam par IA

Avatar source币界网Il y a 15 h

Luxshare Precision : L’avancement simultané du cuivre optique et les plans des clients leaders pour les puces optiques ne contredisent pas cela

Avatar source币界网Il y a 1 j

La NSA prévoit d’introduire le nouveau modèle top secret d’Anthropic, la Maison-Blanche accordant 9 milliards de dollars pour répondre à la pénurie de puissance de calcul

Avatar source币界网Il y a 3 j

Institutions : L’indice S&P 500 est prêt à connaître sa plus forte croissance des bénéfices depuis 2021

Avatar sourceBlockbeatsIl y a 3 j

Analyse : L’introduction en bourse de SpaceX pourrait étendre son exposition au Nasdaq BTC, mais pourrait être un facteur baissier à court terme pour les actions technologiques et le détournement des fonds Bitcoin

Avatar sourceChainCatcherIl y a 4 j

La start-up d’IA Hark a terminé un tour de série A de 700 millions de dollars à une valorisation de 6 milliards de dollars, mené par Parkway Venture Capital

Avatar sourceOdailyIl y a 4 j

La Maison Blanche a reporté la cérémonie de signature du décret exécutif sur l’IA

Avatar sourceOdailyIl y a 4 j

Le cours de l’action Nvidia est tombé à 2 %, et celui d’Intel s’est élargi à 4,3 %.