Máy chủ AI Rome Dual: 2× EPYC, 8 GPU, 768 GB VRAM

Những mô hình nào chạy được trên cấu hình này

Cấu hình đã chọn có 128 GB bộ nhớ đồ họa (VRAM). Ví dụ, các mô hình ngôn ngữ mở sau đây chạy thoải mái:

Qwen3.5-122B-A10B80 GB
Mixtral 8x22B80 GB
GLM-4.5-Air 106B72 GB
Mistral Large 2 123B70 GB
Llama 3.3 70B / Qwen3-72B48 GB
Seed-OSS-36B28 GB
DeepSeek-R2 32B24 GB
Qwen3-30B-A3B MoE20 GB

Mô hình lớn hơn Qwen3-235B-A22B cần khoảng 140 GB VRAM.

Ước tính tham khảo cho các mô hình lượng tử hóa (thường là Q4) có dự phòng cho ngữ cảnh. Nhu cầu bộ nhớ thực tế phụ thuộc vào độ dài ngữ cảnh và số người dùng đồng thời.

Chúng tôi lo cho bạn những gì

Cài đặt sẵn theo yêu cầu
Linux, driver NVIDIA, CUDA, Docker và phần mềm cho tác vụ của bạn (ví dụ vLLM hoặc Ollama) được cài sẵn – bật máy lên là làm việc được ngay.
72 giờ chạy tải
Trước khi bàn giao, mỗi máy chủ đều được chạy tải tối đa trong 72 giờ để kiểm tra độ ổn định, nhiệt độ và độ chính xác của bộ nhớ ECC.
Sửa chữa trong vòng 24/48 giờ
Chúng tôi luôn có sẵn linh kiện thay thế quan trọng tại Praha. Việc sửa chữa và thay linh kiện được thực hiện trong vòng 24/48 giờ.
Hosting tại trung tâm dữ liệu của chúng tôi
Bạn không có phòng máy chủ? Chúng tôi đặt máy chủ tại trung tâm dữ liệu của mình, lo nguồn điện, làm mát và kết nối, còn bạn truy cập từ xa.

Quy trình của chúng tôi với máy chủ AI

Mô tả

Máy chủ AI PC Praha Rome Dual kết hợp tám card đồ họa với bo mạch hai CPU ASRock ROME2D32GM-NL và hai bộ vi xử lý AMD EPYC 7643 (tổng cộng 96 nhân). Các card được kết nối qua PCIe riser chủ động và được cấp điện bởi các nguồn máy chủ dự phòng. Đây là cách tiết kiệm nhất để có tám card – bộ nhớ DDR4 ECC rẻ hơn đáng kể so với DDR5 và không làm giảm hiệu năng tính toán trên card đồ họa.

Cấu hình

Bộ vi xử lý	2× AMD EPYC 7643 (2× 48 nhân, socket SP3)
Bo mạch chủ	ASRock ROME2D32GM-NL (hai CPU)
Card đồ họa	8× tùy chọn: RTX 5080, RTX 4090, RTX 5090, Intel Arc Pro B70, NVIDIA L4, NVIDIA L40 hoặc RTX Pro 6000; PCIe riser chủ động
Bộ nhớ RAM	512 GB hoặc 1 TB DDR4 ECC
Ổ cứng	NVMe 4 hoặc 8 TB
Nguồn điện	nguồn máy chủ dự phòng (5 module)
Vỏ case	rack 7U cho 8 card

Bạn cần bao nhiêu bộ nhớ đồ họa

Bộ nhớ đồ họa	Cấu hình ví dụ	Chạy thoải mái
128 GB	8× RTX 5080	Qwen3.5-122B-A10B, GLM-4.5-Air 106B (MoE)
192 GB	8× RTX 4090, 8× L4	GLM-4.6 355B (Q4), Qwen3-235B-A22B
256 GB	8× RTX 5090, 8× Arc Pro B70	DeepSeek-V3.2 / R1 671B (Q2), Qwen3-Coder-480B; tinh chỉnh toàn bộ mô hình 70B
384 GB	8× L40	Kimi-K2 1T (1,58 bit) với dư địa cho ngữ cảnh dài
768 GB	8× RTX Pro 6000	các mô hình mở lớn nhất ở độ chính xác cao hơn và cho nhiều người dùng đồng thời

Kích thước mô hình chỉ mang tính tham khảo (lượng tử hóa Q4, trừ khi ghi khác) theo công cụ cấu hình của chúng tôi. Nhu cầu bộ nhớ thực tế phụ thuộc vào độ dài ngữ cảnh và số người dùng đồng thời. Với mô hình ngôn ngữ, bộ nhớ của các card được cộng dồn; còn tạo ảnh và video cần toàn bộ mô hình nằm trên một card.

Bạn nhận được gì

Máy chủ được lắp từ linh kiện mới, do chúng tôi lắp ráp và kiểm tra tại Praha.
Phần mềm cài sẵn theo nhu cầu sử dụng của bạn (ví dụ Ubuntu, driver và CUDA, Docker, vLLM, llama.cpp, Ollama, ComfyUI). Bật máy lên là sẵn sàng làm việc ngay.
Trước khi bàn giao, máy được kiểm tra 72 giờ ở mức tải tối đa.
Bảo hành 24 tháng. Linh kiện thay thế có sẵn tại Praha, chúng tôi đảm bảo can thiệp kỹ thuật trong vòng 24/48 giờ.
Máy chủ không nhất thiết phải đặt tại chỗ bạn – bạn có thể đặt nó trong trung tâm dữ liệu của chúng tôi (hosting), chúng tôi lo nguồn điện, làm mát và kết nối.

Vận hành và lắp đặt

Máy chủ nên đặt trong rack hoặc phòng máy chủ. Tùy card, máy tiêu thụ khoảng 1,2 đến 5,4 kW và cần nguồn cấp điện cùng hệ thống làm mát tương ứng – chúng tôi sẽ hỗ trợ thiết kế, hoặc bạn có thể vận hành máy trong trung tâm dữ liệu của chúng tôi. Mạng nhanh hơn để kết nối nhiều máy chủ (25 đến 400 GbE) có thể bổ sung theo yêu cầu.

Câu hỏi thường gặp

Tại sao lại dùng hai bộ xử lý?

Tám card cần nhiều làn PCIe hơn số mà một bộ xử lý EPYC 7003 cung cấp. Bo mạch hai bộ xử lý kết nối được tất cả và đồng thời tăng gấp đôi bộ nhớ và số nhân để chuẩn bị dữ liệu.

Có phù hợp để huấn luyện không?

Để tinh chỉnh (LoRA, QLoRA) thì có, với 256 GB trở lên còn có thể tinh chỉnh toàn bộ mô hình cỡ 70B. Huấn luyện mô hình từ đầu là việc của các cluster.

Khác biệt so với server Genoa và Turin là gì?

Rome Dual dùng DDR4 và PCIe 4.0 rẻ hơn. Genoa và Turin có DDR5, PCIe 5.0 và bộ xử lý mới hơn – chủ yếu đáng giá với các card đắt nhất và bộ nhớ RAM lớn.

Tôi cần gì để vận hành?

Rack, mạch điện vài kW và hệ thống làm mát. Nếu bạn không có, chúng tôi sẽ vận hành server trong trung tâm dữ liệu của chúng tôi.

Đánh giá của khách hàng

Hiện chưa có đánh giá nào.

Chỉ khách hàng đã mua sản phẩm tại chúng tôi mới có thể đánh giá – chúng tôi sẽ gửi đường dẫn đánh giá qua e-mail sau khi mua.

Máy chủ AI khác

Xem tất cả

Máy chủ AI 4× RTX 5090 – 128 GB VRAM, AMD EPYC, 512 GB RAM
- 4× RTX 5090
- 128 GB VRAM
- EPYC 7643
- 512 GB RAM
990 909 Kč chưa gồm VAT
1 199 000 Kč đã gồm VAT
Theo đơn đặt hàng, thời hạn sẽ được xác nhận
Máy chủ AI HPE ProLiant DL385 Gen10 – 2× NVIDIA A100 80 GB, 2× AMD EPYC 7502
- 2× A100 80 GB
- 160 GB VRAM
- 2× EPYC 7502
- 512 GB RAM
1 020 510 Kč chưa gồm VAT
1 234 817 Kč đã gồm VAT
Theo đơn đặt hàng, thời hạn sẽ được xác nhận
Máy chủ AI K-AI 96 ROME – 4× RTX 4090, 96 GB VRAM, AMD EPYC 7542
- 4× RTX 4090
- 96 GB VRAM
- EPYC 7542
- 256 GB RAM
449 493 Kč chưa gồm VAT
543 886 Kč đã gồm VAT
Theo đơn đặt hàng, thời hạn sẽ được xác nhận
Tùy chỉnh cấu hình
Máy chủ AI PC Praha Edge – vỏ tháp có bánh xe, tới 6 GPU
- 2–6 GPU
- 32–384 GB VRAM
- EPYC 7643
- 256–512 GB RAM
từ 280 405 Kč chưa gồm VAT
339 290 Kč đã gồm VAT
Lắp ráp thường mất 5–7 ngày làm việc