GPU cho AI cục bộ năm 2026: RTX 5090 hay RTX PRO 6000 Blackwell?

Với AI chạy cục bộ, yếu tố quyết định chủ yếu là bộ nhớ đồ họa (VRAM): toàn bộ mô hình phải nằm vừa trong đó, kèm phần dự phòng cho ngữ cảnh. Theo công thức bên dưới, GeForce RTX 5090 với 32 GB chứa được mô hình khoảng đến 25 tỷ tham số ở 8 bit. Ở 4 bit là khoảng 45 tỷ. RTX PRO 6000 Blackwell với 96 GB chứa được trên một card mô hình khoảng đến 80 tỷ tham số ở 8 bit. Ở 4 bit, nó xử lý được khoảng 140 tỷ. Với các mô hình lớn hơn nữa, bạn cần nhiều card hơn.

Tóm tắt

• Lượng VRAM cần thiết được tính đơn giản: số tham số tính bằng tỷ × số byte trên mỗi trọng số × 1,2. Ở 4 bit là khoảng 0,6 GB cho mỗi tỷ tham số.
• RTX 5090 (32 GB, 575 W) là lựa chọn khởi đầu rẻ nhất cho các mô hình khoảng đến 45 tỷ tham số ở 4 bit. Máy tính hoàn chỉnh dùng card này tại chúng tôi có giá từ 200 990 Kč.
• RTX PRO 6000 Blackwell (96 GB, 300–600 W tùy phiên bản) có bộ nhớ gấp ba lần trên một card. Máy trạm dùng card này có giá từ 625 290 Kč.
• Trên 96 GB VRAM, 1 GB ở cấu hình rẻ nhất với RTX PRO 6000 có giá 5 932 Kč, với RTX 5090 là 8 609 Kč (tính đến 4.11.2026).
• Máy chủ 4 card tiêu thụ khoảng 2,7 kW, máy chủ 8 card trên 5 kW. Khi đó cần một mạch điện khác, không phải ổ cắm thông thường.

Chúng tôi là nhà bán lẻ: tất cả card và cấu hình trong các bảng đều do chúng tôi bán. Giá lấy từ danh mục của chúng tôi tính đến 4.11.2026, đã gồm VAT, thông số card lấy từ trang chính thức của NVIDIA.

Làm thế nào để tính một mô hình cần bao nhiêu VRAM?

Mô hình 32 tỷ tham số ở 4 bit cần khoảng 19 GB VRAM. Chúng tôi tính theo công thức sau:

VRAM [GB] ≈ số tham số [tỷ] × số byte trên mỗi trọng số × 1,2

• Số byte trên mỗi trọng số được quyết định bởi lượng tử hóa (nén trọng số mô hình): FP16 = 2 byte, 8 bit (Q8) = 1 byte, 4 bit (Q4) = 0,5 byte.
• × 1,2 là phần dự phòng khoảng 20 % cho KV cache (bộ nhớ cho ngữ cảnh hội thoại) và cho phần mềm vận hành.

Mức dự phòng 20 % là quy tắc ước lượng thô cho một người dùng và ngữ cảnh có độ dài thông thường. Tài liệu dài hoặc nhiều người dùng cùng lúc cần nhiều bộ nhớ hơn cho KV cache. Các định dạng 4 bit thực tế thường dùng nhiều hơn 4 bit một chút cho mỗi trọng số, vì vậy hãy tính theo mức trên.

Công thức này cũng khớp với mô hình thực tế. OpenAI cho biết gpt-oss-120b (117 tỷ tham số, mặc định ở định dạng 4 bit MXFP4) chạy được trong 80 GB bộ nhớ. Theo công thức, kết quả là 117 × 0,5 × 1,2 = 70 GB.

Với các mô hình dạng MoE (mixture of experts), toàn bộ tham số phải nằm trong bộ nhớ, dù khi tính toán chỉ một phần trong số đó hoạt động. Với gpt-oss-120b là 5,1 tỷ tham số hoạt động trên tổng 117 tỷ. Vì vậy, hãy tính bộ nhớ theo tổng số tham số.

Mô hình nào vừa với RTX 5090 và mô hình nào vừa với RTX PRO 6000?

Theo công thức, một card RTX 5090 chứa được mô hình khoảng đến 25 tỷ tham số ở 8 bit hoặc đến 45 tỷ ở 4 bit. Bảng dưới đây cho thấy lượng VRAM cần thiết cho các kích thước mô hình phổ biến và cấu hình nhỏ nhất mà chúng tôi bán cho nhu cầu đó:

Khi mô hình được chia cho nhiều card, các card trao đổi dữ liệu với nhau qua bus PCIe. Vì vậy, một card có bộ nhớ lớn đơn giản hơn nhiều card nhỏ có cùng tổng VRAM. Với các mô hình từ 32 đến 48 GB, một card RTX PRO 5000 Blackwell 48 GB cũng đủ. Ở 4 bit, bạn tiết kiệm bộ nhớ nhưng đổi lại giảm phần nào độ chính xác; mức giảm bao nhiêu tùy thuộc vào từng mô hình.

Các card cho AI cục bộ có thông số như thế nào?

RTX 5090 và RTX PRO 6000 Workstation có cùng băng thông bộ nhớ 1 792 GB/s, khác nhau chủ yếu ở dung lượng VRAM: 32 GB so với 96 GB. Tổng quan các card mà chúng tôi bán riêng lẻ hoặc trong cấu hình:

¹ NVIDIA công bố „AI TOPS“ mà không nêu rõ độ chính xác. ² Hiệu năng FP4 lý thuyết có sử dụng tính thưa (sparsity) theo NVIDIA. ³ NVIDIA không nêu độ chính xác. ⁴ Có tính thưa, nếu không thì bằng một nửa. * Phiên bản RTX PRO 6000 trong cấu hình (Workstation hoặc Max-Q) sẽ được chúng tôi xác nhận trong báo giá.

Các con số TOPS và PFLOPS là mức tối đa lý thuyết của nhà sản xuất và không thể so sánh trực tiếp giữa dòng GeForce và dòng PRO. Tốc độ sinh văn bản cho một người dùng bị giới hạn chủ yếu bởi băng thông bộ nhớ: với mỗi từ mới, card phải đọc qua các trọng số hoạt động của mô hình. Vì vậy, DGX Spark với 128 GB chứa được mô hình lớn, nhưng với băng thông 273 GB/s, nó sinh văn bản chậm hơn card có 1 792 GB/s.

Khi nào RTX 5090 là đủ?

RTX 5090 là đủ khi bạn chỉ cần mô hình khoảng đến 45 tỷ tham số ở 4 bit (đến 25 tỷ ở 8 bit) và từ một đến vài người dùng. Điển hình là trợ lý cho lập trình viên, chat với tài liệu cho nhóm nhỏ, chuyển giọng nói thành văn bản hoặc tạo hình ảnh.

• Ưu điểm của RTX 5090: chi phí khởi đầu thấp nhất, băng thông 1 792 GB/s, phần mềm phổ biến (CUDA, PyTorch, llama.cpp, vLLM).
• Nhược điểm của RTX 5090: chỉ 32 GB, công suất 575 W mỗi card và NVIDIA khuyến nghị nguồn máy tính 1.000 W. NVIDIA không công bố bộ nhớ ECC cho card này, khác với dòng PRO. Với mô hình 70 tỷ tham số, bạn cần ít nhất hai card.

Lưu ý về giá: bản thân RTX 5090 hiện nay trên thị trường khá đắt. Máy chủ với 2× RTX 5090 (64 GB) tại chúng tôi có giá 647 790 Kč. Máy trạm với một RTX PRO 6000 (96 GB) có giá 625 290 Kč, tức là rẻ hơn một chút.

Khi nào bạn cần RTX PRO 6000 Blackwell?

Bạn cần RTX PRO 6000 Blackwell cho các mô hình khoảng 70 tỷ tham số ở 8 bit, 120 tỷ ở 4 bit, hoặc khi muốn chạy mô hình 32B ở độ chính xác đầy đủ FP16. Card này cũng phù hợp ở nơi máy chủ phải luân phiên xử lý nhiều tác vụ hoặc nhiều người dùng.

• Ưu điểm của RTX PRO 6000 Blackwell: 96 GB trên một card, bộ nhớ ECC, theo NVIDIA hỗ trợ MIG (chia card thành tối đa 4 phiên bản độc lập). Mô hình không cần chia cho nhiều card.
• Nhược điểm của RTX PRO 6000 Blackwell: giá mỗi card cao. Phiên bản Workstation tiêu thụ đến 600 W. Server Edition dành cho máy chủ rack có luồng khí được kiểm soát và tại chúng tôi chỉ nhận đặt trước, thời gian giao hàng khoảng đến 2 tháng.

Workstation, Max-Q hay Server Edition?

Cả ba phiên bản đều có 96 GB GDDR7 với ECC. Chúng khác nhau về công suất và cách làm mát:

• Workstation Edition: 600 W, bộ tản nhiệt với luồng khí đi xuyên qua card, 1 792 GB/s. Hiệu năng cao nhất cho máy trạm để bàn.
• Max-Q: 300 W, làm mát chủ động, cùng băng thông 1 792 GB/s, hiệu năng lý thuyết thấp hơn (3 511 so với 4 000 TOPS FP4). Lựa chọn tốt hơn khi lắp nhiều card trong một thùng máy.
• Server Edition: đến 600 W (điều chỉnh được), 1 597 GB/s, phiên bản làm mát bằng không khí hoặc chất lỏng dành cho máy chủ.

Khi nào cần hai card trở lên?

Bạn cần nhiều card ngay khi mô hình cùng phần dự phòng vượt quá bộ nhớ của một card: trên 32 GB với RTX 5090 và trên 96 GB với RTX PRO 6000. Lý do thứ hai là có nhiều người dùng đồng thời, khiến KV cache tăng lên.

Trên 96 GB VRAM, trong danh mục của chúng tôi, cấu hình rẻ nhất với RTX PRO 6000 có giá trên 1 GB bộ nhớ thấp hơn cấu hình rẻ nhất với RTX 5090 (5 932 so với 8 609 Kč). Máy chủ với 4× RTX PRO 6000 (384 GB) có giá 2 277 990 Kč, máy chủ với 8× RTX 5090 (256 GB) có giá 2 238 290 Kč. Như vậy, với mức giá gần như tương đương, bạn có thêm 128 GB VRAM và chỉ cần một nửa số card.

Các cấu hình cho AI cục bộ của chúng tôi có giá bao nhiêu?

Cấu hình rẻ nhất với RTX 5090 có giá 200 990 Kč, với RTX PRO 6000 Blackwell là 625 290 Kč. Giá là phương án thấp nhất của mỗi cấu hình tính đến 4.11.2026, đã gồm VAT:

Các cấu hình PC Praha được chúng tôi lắp ráp theo đơn đặt hàng, bạn tự chọn card, bộ nhớ RAM và ổ cứng. Thời hạn bảo hành 24 tháng. Trong trình cấu hình còn có RTX 5080, RTX 4090, NVIDIA L4 và L40 và Intel Arc Pro B70. Card Arc Pro B70 không hỗ trợ CUDA, vì vậy hãy kiểm tra trước xem phần mềm của bạn có chạy được trên card này không.

DGX Spark là một máy tính nhỏ với 128 GB bộ nhớ dùng chung giữa bộ xử lý và đồ họa. NVIDIA cho biết một máy chứa được mô hình đến 200 tỷ tham số. Các máy dùng chip GB10 tại chúng tôi có giá trên 1 GB bộ nhớ rẻ nhất, nhưng băng thông 273 GB/s thấp hơn khoảng 6,6 lần so với RTX 5090.

Các cấu hình AI tiêu thụ bao nhiêu điện và cần đường điện như thế nào?

Máy trạm với một card tiêu thụ khoảng 0,9 kW khi tải đầy, máy chủ 4 card khoảng 2,7 kW. Ước tính trong bảng là tổng công suất của các card theo NVIDIA, của bộ xử lý và các linh kiện khác theo trình cấu hình của chúng tôi. Chi phí mỗi giờ được tính với giá điện tại nhà 4,5 Kč/kWh (mang tính tham khảo, thường là biểu giá 20 giờ D57d; với biểu giá thông thường D02d khoảng 6,4 Kč/kWh, xem Giá điện cho việc đào coin là bao nhiêu).

RTX PRO 6000 được tính với 600 W. Với phiên bản Max-Q (300 W), công suất thấp hơn 300 W cho mỗi card. Khi sử dụng thông thường, card không chạy tải đầy cả ngày, vì vậy mức tiêu thụ thực tế thường thấp hơn.

• Bộ nguồn: trong các cấu hình của chúng tôi, máy trạm có một bộ nguồn 1 650 W và máy chủ đến 3 card có một bộ nguồn 2 000 W. Máy chủ 4–6 card có hai bộ nguồn 2 000 W. Máy chủ 8 card có bộ nguồn máy chủ 5× 1 000–1 200 W. Máy chủ Edge và Turin Dual có bộ nguồn dự phòng kép.
• Đường điện 230 V: mức tiêu thụ liên tục không nên vượt quá khoảng 80 % định mức aptomat. Với mạch 16 A là khoảng 2,9 kW. Máy chủ 8 hoặc 16 card cần nhiều mạch điện hơn hoặc phòng máy chủ; việc này do thợ điện đánh giá. Quy trình chi tiết được mô tả trong danh sách kiểm tra chuẩn bị vị trí đặt máy.
• Làm mát và độ ồn: toàn bộ điện năng chuyển thành nhiệt, máy chủ 4 card sưởi ấm như một máy sưởi điện công suất 2,7 kW. Máy trạm được chúng tôi lắp ráp để chạy êm. Máy chủ rack nên đặt trong phòng máy chủ hoặc phòng kỹ thuật. Độ ồn tính bằng dB chúng tôi chưa kiểm chứng bằng đo đạc, vì vậy chưa công bố.
• Card máy chủ: L40 và RTX PRO 6000 Server Edition dành cho máy chủ có luồng khí được kiểm soát, Server Edition còn có phiên bản làm mát bằng chất lỏng. Chúng không phù hợp với thùng máy PC thông thường.

Cách các trung tâm dữ liệu làm mát máy chủ AI và vì sao với các cấu hình lớn nhất làm mát bằng không khí là không đủ, được mô tả trong bài viết Máy chủ AI: trông như thế nào, làm mát ra sao và điều gì quyết định giá của chúng.

Chọn card từng bước như thế nào?

1. Chọn mô hình bạn muốn vận hành và tìm hiểu số tham số của nó.
2. Chọn mức lượng tử hóa: Q4 để tiết kiệm bộ nhớ, Q8 hoặc FP16 để có độ chính xác cao hơn.
3. Tính VRAM: số tham số × số byte trên mỗi trọng số × 1,2. Với ngữ cảnh dài hoặc nhiều người dùng, hãy thêm phần dự phòng.
4. Trong bảng, tìm cấu hình nhỏ nhất mà mô hình vừa với.
5. Kiểm tra công suất và đường điện tại nơi sẽ đặt cấu hình.
6. Gửi cho chúng tôi yêu cầu kèm tên mô hình và số lượng người dùng, chúng tôi sẽ đề xuất cấu hình.

Vì sao nên vận hành AI cục bộ và khi nào điều đó có lợi hơn so với cloud, chúng tôi phân tích trong bài viết Máy chủ AI cho doanh nghiệp, công việc và gia đình.

Tiếp theo

• Yêu cầu báo giá máy chủ AI – hãy cho chúng tôi biết bạn muốn dùng mô hình nào và phục vụ bao nhiêu người dùng, chúng tôi sẽ chuẩn bị báo giá riêng.
• Máy chủ AI và GPU – tất cả cấu hình, card và máy dùng GB10 kèm giá hiện tại.
• Có thể chuyển đổi ASIC thành máy chủ AI không? – vì sao không thể và những gì từ trang trại đào coin có thể tận dụng.

Nguồn tham khảo

• NVIDIA: GeForce RTX 5090 – thông số kỹ thuật
• NVIDIA: so sánh GeForce RTX 5090 và RTX 5080 (băng thông bộ nhớ, AI TOPS)
• NVIDIA: RTX PRO 6000 Blackwell Workstation Edition
• NVIDIA: RTX PRO 6000 Blackwell Max-Q Workstation Edition
• NVIDIA: RTX PRO 6000 Blackwell Server Edition
• NVIDIA: RTX PRO 5000 Blackwell · RTX PRO 4500 Blackwell · RTX PRO 4000 Blackwell
• NVIDIA: L40 · NVIDIA: L4
• NVIDIA: DGX Spark – bộ nhớ, băng thông, kích thước mô hình
• OpenAI: Introducing gpt-oss – tham số và bộ nhớ của gpt-oss-120b