Posteo

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Deslinde de responsabilidades: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Envía la primera respuesta!

Related Flash News

Avatar fuenteBlockbeatsHace 3 h

El CEO de Coinbase anuncia ocho visiones financieras, con un mapa de negocio completamente alineado con el "Wall Street on-chain".

Avatar fuenteChainCatcherHace 6 h

Las acciones de IA y semiconductores siguen activas, con Gate liderando la industria en la negociación de contratos relacionados con NVIDIA-Micron

Avatar fuente币界网Hace 11 h

vLLM bloquea a los contribuyentes de "premium de currículum" y a relaciones públicas falsas, y planea introducir la verificación de correo electrónico en escuelas empresariales para prevenir estrictamente el spam de IA

Avatar fuente币界网Hace 15 h

Luxshare Precision: El avance simultáneo del cobre óptico y los planes de los principales clientes para chips ópticos no contradicen esto

Avatar fuente币界网Hace 1 d

La NSA planea introducir el nuevo modelo ultrasecreto de Anthropic, con la Casa Blanca otorgando 9.000 millones de dólares para abordar la escasez de poder computacional

Avatar fuente币界网Hace 3 d

Instituciones: El índice S&P 500 está en posición de alcanzar su mayor crecimiento de beneficios desde 2021

Avatar fuenteBlockbeatsHace 3 d

Análisis: La salida a bolsa de SpaceX podría ampliar la exposición al Nasdaq BTC, pero podría ser un factor bajista a corto plazo para las acciones tecnológicas y la desviación de fondos de Bitcoin

Avatar fuenteChainCatcherHace 4 d

La startup de IA Hark completó una ronda Serie A de 700 millones de dólares con una valoración de 6.000 millones de dólares, liderada por Parkway Venture Capital

Avatar fuenteOdailyHace 4 d

La Casa Blanca pospuso la ceremonia de firma de la orden ejecutiva sobre la IA

Avatar fuenteOdailyHace 4 d

El precio de las acciones de Nvidia cayó al 2%, y el de Intel se amplió hasta el 4,3%.