Bài đăng

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Miễn trừ trách nhiệm: Nội dung OKX Orbit chỉ để tham khảo. Tìm hiểu thêm

Phản hồi

Chưa có bình luận. Trở thành người phản hồi đầu tiên!

Related Flash News

Ảnh đại diện gốcBlockbeats3 giờ trước

Giám đốc điều hành Coinbase công bố tám tầm nhìn tài chính, với bản đồ kinh doanh hoàn toàn phù hợp với "Phố Wall trên chuỗi".

Ảnh đại diện gốcChainCatcher6 giờ trước

Cổ phiếu AI và chất bán dẫn vẫn hoạt động, với Gate dẫn đầu ngành về giao dịch hợp đồng liên quan đến NVIDIA-Micron

Ảnh đại diện gốc币界网11 giờ trước

vLLM chặn "resume premium" và những người đóng góp PR sai, kế hoạch giới thiệu xác minh email trường học doanh nghiệp để ngăn chặn nghiêm ngặt việc gửi thư rác AI

Ảnh đại diện gốc币界网15 giờ trước

Luxshare Precision: Sự tiến bộ đồng thời của đồng quang học và kế hoạch của khách hàng hàng đầu về chip quang không mâu thuẫn với điều này

Ảnh đại diện gốc币界网1 ngày trước

NSA có kế hoạch giới thiệu mô hình mới tuyệt mật của Anthropic, với Nhà Trắng cấp 9 tỷ đô la để giải quyết tình trạng thiếu sức mạnh tính toán

Ảnh đại diện gốc币界网3 ngày trước

Các tổ chức: Chỉ số S&P 500 đã sẵn sàng cho mức tăng trưởng lợi nhuận mạnh nhất kể từ năm 2021

Ảnh đại diện gốcBlockbeats3 ngày trước

Phân tích: IPO của SpaceX có thể mở rộng mức độ tiếp xúc với Nasdaq BTC, nhưng có thể là một yếu tố giảm giá ngắn hạn đối với cổ phiếu công nghệ và sự bòn rút các quỹ Bitcoin

Ảnh đại diện gốcChainCatcher4 ngày trước

Công ty khởi nghiệp AI Hark đã hoàn thành vòng gọi vốn Series A trị giá 700 triệu USD với mức định giá 6 tỷ USD, dẫn đầu bởi Parkway Venture Capital

Ảnh đại diện gốcOdaily4 ngày trước

Nhà Trắng hoãn lễ ký sắc lệnh hành pháp AI

Ảnh đại diện gốcOdaily4 ngày trước

Giá cổ phiếu của Nvidia giảm 2% và mức giảm của Intel mở rộng lên 4,3%.