Publicar

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Aviso legal: o conteúdo do OKX Orbit é fornecido apenas para fins informativos. Saber mais

Respostas

Ainda sem comentários. Sê a primeira pessoa a responder!

Related Flash News

Avatar de origemBlockbeats2 horas

O CEO da Coinbase anuncia oito visões financeiras, com um mapa de negócios totalmente alinhado com a "Wall Street on-chain".

Avatar de origemChainCatcher6 horas

As ações de IA e semicondutores mantêm-se ativas, com a Gate a liderar a indústria na negociação de contratos relacionadas com a NVIDIA-Micron

Avatar de origem币界网11 horas

vLLM bloqueia contribuintes de "premium de currículo" e falsos de relações públicas, planeia introduzir verificação de email em escolas empresariais para prevenir estritamente o spam de IA

Avatar de origem币界网14 horas

Luxshare Precisão: O avanço simultâneo do cobre ótico e os planos dos principais clientes para chips óticos não contradizem isto

Avatar de origem币界网1 dia

A NSA planeia introduzir o novo modelo ultrassecreto da Anthropic, com a Casa Branca a conceder 9 mil milhões de dólares para colmatar a escassez de poder computacional

Avatar de origem币界网3 dias

Instituições: O índice S&P 500 está preparado para o seu maior crescimento de lucros desde 2021

Avatar de origemBlockbeats3 dias

Análise: O IPO da SpaceX pode expandir a exposição ao BTC do Nasdaq, mas pode ser um fator pessimista a curto prazo para as ações tecnológicas e para a desviação de fundos Bitcoin

Avatar de origemChainCatcher4 dias

A startup de IA Hark concluiu uma ronda de financiamento Série A de 700 milhões de dólares, com uma avaliação de 6 mil milhões de dólares, liderada pela Parkway Venture Capital

Avatar de origemOdaily4 dias

A Casa Branca adiou a cerimónia de assinatura da ordem executiva da IA

Avatar de origemOdaily4 dias

O preço das ações da Nvidia caiu 2%, e a queda da Intel alargou-se para 4,3%.