NVIDIA CMP 170HX 64 GB HBM2e (đã mở khóa)

Phiên bản đã chỉnh sửa với bộ nhớ 64 GB HBM2e được mở khóa. NVIDIA CMP 170HX là card dùng chip GA100 – cùng thế hệ Ampere với A100 dành cho trung tâm dữ liệu. Từ nhà máy, card chỉ có 8 GB bộ nhớ; chúng tôi bán những chiếc đã được mở khóa bộ nhớ lên đủ 64 GB HBM2e. Nhờ vậy, đây hiện là một trong những cách rẻ nhất để đưa trọn một mô hình ngôn ngữ lớn vào bộ nhớ nhanh của card đồ họa.

Với mức giá khoảng 1.500 Kč cho mỗi gigabyte bộ nhớ (đã gồm VAT), card chỉ có giá khoảng một phần ba so với các card chuyên nghiệp có bộ nhớ lớn. Hãy mua card vì dung lượng bộ nhớ, không phải vì sức mạnh tính toán thô – đó là so sánh công bằng và chúng tôi muốn nói rõ ngay từ đầu.

Dành cho ai

• Vận hành một mô hình lớn được nạp vào bộ nhớ và chạy liên tục nhiều giờ (suy luận, chatbot, trợ lý AI nội bộ).
• Thử nghiệm với các mô hình lớn khi ngân sách hạn chế – 64 GB bộ nhớ nhanh với giá chỉ bằng một phần nhỏ so với card chuyên nghiệp.
• Suy luận theo lô, khi giới hạn nằm ở dung lượng bộ nhớ chứ không phải sức mạnh tính toán.
• Máy chủ nhiều card, nơi mô hình được chia theo lớp (ví dụ llama.cpp) – mỗi card có riêng 64 GB.

Không phù hợp cho

• Huấn luyện và fine-tuning – phần tính toán bị hạn chế so với A100 đầy đủ.
• Triển khai cần hiệu năng được đảm bảo và đồng đều ở mọi card – các card riêng lẻ có thể khác nhau; cho mục đích đó, chúng tôi sẵn lòng đề xuất RTX PRO 6000.
• PC để bàn thông thường – card không có quạt riêng và không có cổng xuất hình.

Thông số

• GPU: NVIDIA GA100 (Ampere)
• Bộ nhớ: 64 GB HBM2e (đã mở khóa, từ nhà máy 8 GB)
• Băng thông bộ nhớ: 931–970 GB/s (theo đo đạc của chúng tôi)
• Công suất tiêu thụ: tối đa 250 W, trong thử nghiệm 60 phút ổn định ở 244–245 W
• Sức mạnh tính toán: hạn chế so với A100, khác nhau giữa các card
• ECC: tắt
• Tản nhiệt: thụ động – cần luồng gió mạnh (vỏ máy chủ, ống dẫn gió hoặc quạt cho từng card)
• Cổng xuất hình: không có
• Phần mềm: Linux (Ubuntu 22.04 / 24.04), driver NVIDIA mã nguồn mở kèm dịch vụ mở khóa, llama.cpp / ik_llama.cpp
• Tình trạng: đã qua sử dụng (sau khi đào coin), được kiểm tra trước khi gửi

Cách mở khóa hoạt động

Bộ nhớ 64 GB được kích hoạt nhờ driver đã chỉnh sửa, và một dịch vụ sẽ kích hoạt lại sau mỗi lần khởi động hệ thống. Sau khi cập nhật kernel hoặc driver, cần mở khóa lại, nếu không card sẽ lại hiển thị 8 GB – vì vậy chúng tôi khuyên nên cố định phiên bản driver. Hướng dẫn chi tiết từng bước có trong bài Unlocking 64 GB HBM2e on Ubuntu (tiếng Anh). Chúng tôi sẵn lòng hỗ trợ bạn cài đặt.

Cần bao nhiêu card cho mô hình nào

Các mô hình lớn kiểu mixture-of-experts có thể chia ra nhiều card: ví dụ GLM-5.3-Flash ở chất lượng Q4 vừa trọn trong bốn card. Tính toán cho 1–6 card, dung lượng RAM và bộ nguồn cần thiết có trong hướng dẫn Running GLM-5.3-Flash on CMP 170HX – a sizing guide (tiếng Anh). Với hai card trở lên, chúng tôi khuyên dùng bo mạch có khe riêng cho từng card (EPYC / Threadripper) và bộ nguồn 1–2 kW tùy số lượng card.

Câu hỏi thường gặp

Phần mềm của tôi có thấy đủ 64 GB không?
Có, sau khi mở khóa, toàn bộ dung lượng đều có thể sử dụng – đó là lý do chính để mua card này. Tuy nhiên, sức mạnh tính toán bị hạn chế so với A100 và khác nhau giữa các card.

Tôi có thể lắp nhiều card vào một máy chủ không?
Có. Mỗi card có riêng 64 GB và mô hình được chia giữa các card theo lớp. Hãy cho chúng tôi biết bạn muốn chạy mô hình nào, chúng tôi sẽ đề xuất số lượng card và cấu hình.

Card có cần tản nhiệt đặc biệt không?
Có. Card tản nhiệt thụ động và sẽ quá nóng trong vỏ máy thông thường. Card cần vỏ máy chủ có luồng gió từ trước ra sau hoặc ống dẫn gió kèm quạt.

Các bạn có lắp ráp trọn bộ máy chủ cho tôi không?
Có – chúng tôi lắp ráp và kiểm tra máy chủ AI nhiều card, cài đặt hệ điều hành và phần mở khóa, hoặc vận hành máy chủ trong trung tâm dữ liệu của chúng tôi.

Giao hàng theo đơn đặt hàng – thời hạn giao hàng và số lượng có sẵn sẽ được xác nhận sau khi đặt hàng hoặc gửi yêu cầu. Với số lượng nhiều, chúng tôi sẽ chuẩn bị báo giá riêng – hãy liên hệ với chúng tôi.