Máy chủ AI: trông như thế nào, làm mát ra sao và điều gì quyết định giá
Một máy chủ AI hiện đại trước hết là bộ tăng tốc GPU mạnh mẽ với bộ nhớ lớn, nguồn điện ở mức hàng kilowatt và ngày càng thường xuyên dùng làm mát bằng chất lỏng – với những cấu hình dày đặc nhất, không khí đã không còn đủ. Giá thành chủ yếu phụ thuộc vào phân khúc card đồ họa và dung lượng bộ nhớ của chúng (VRAM): từ máy trạm với một hoặc hai card cho các mô hình nhỏ hơn đến cả rack NVIDIA Blackwell cho trung tâm dữ liệu. Dưới đây là tổng quan về cấu tạo của máy chủ AI, cách làm mát và lý do các doanh nghiệp chuyển từ cloud sang phần cứng riêng.
Tóm tắt
- Doanh nghiệp chuyển sang máy chủ AI cục bộ vì hóa đơn API cloud ngày càng tăng và để bảo vệ dữ liệu.
- Các mô hình mở nhỏ hơn (Gemma 3, Phi-4, Mistral Small 3) có thể xử lý phần lớn tác vụ thông thường của doanh nghiệp trên phần cứng riêng.
- Rack với chip mới nhất có tải nhiệt trên 100 kW – không thể vận hành nếu không làm mát bằng chất lỏng.
- Giá máy chủ chịu ảnh hưởng lớn nhất từ loại và số lượng GPU cùng dung lượng bộ nhớ của chúng.
Vì sao doanh nghiệp chuyển sang máy chủ AI cục bộ
Cách đây không lâu, các doanh nghiệp chủ yếu tính đến các mô hình trên cloud. Nhưng hàng trăm nhân viên gửi truy vấn liên tục cùng các AI agent chạy ngầm đã dẫn đến hiện tượng mà trong ngành gọi là "cú sốc hóa đơn token" (token bill shock).
Để đối phó, xu hướng AI chủ quyền (sovereign AI) và máy chủ cục bộ ngày càng phát triển. Thay vì gửi dữ liệu nhạy cảm lên máy chủ cloud ở nước ngoài, doanh nghiệp triển khai hạ tầng ngay trong mạng nội bộ của mình. Các mô hình ngôn ngữ nhỏ hơn đã được tối ưu hóa như Llama 4 Scout, Mistral Small 3 hay Phi-4 đã chứng minh rằng phần lớn tác vụ của doanh nghiệp có thể xử lý cục bộ mà không cần gói thuê bao đắt đỏ.
Vì sao làm mát bằng không khí không còn đủ
Vấn đề kỹ thuật chính của máy chủ AI hiện nay là nhiệt. Làm mát bằng không khí truyền thống – quạt công suất lớn và điều hòa – không theo kịp mật độ tính toán này.
Các chip thế hệ mới nhất, chẳng hạn bộ xử lý đồ họa NVIDIA Blackwell (GB200) hay bộ tăng tốc AMD dòng MI, có công suất tiêu thụ khổng lồ. Tải nhiệt của một rack máy chủ ngày nay vượt quá 100–130 kW. Để dễ hình dung: lượng nhiệt đó đủ để sưởi ấm cả một tòa chung cư vào mùa đông.
Hạ tầng AI được làm mát như thế nào
- Làm mát chất lỏng trực tiếp (direct-to-chip) – tiêu chuẩn được ưa chuộng nhất hiện nay. Các tấm làm mát bằng đồng (cold plate) được gắn trực tiếp lên GPU và bộ xử lý, chất lỏng mang nhiệt đi ngay tại nguồn.
- Làm mát ngâm (immersion) – toàn bộ máy chủ được ngâm trong bể chứa chất lỏng điện môi. Cho phép mật độ phần cứng tối đa, nhưng bảo trì phức tạp hơn.
Nhờ hệ thống tuần hoàn chất lỏng, các trung tâm dữ liệu có thể giảm bớt các cụm làm lạnh lớn bên ngoài (chiller) và hạ hệ số PUE xuống mức khoảng 1,15–1,2. Giới đào tiền mã hóa cũng giải quyết cùng một bài toán vật lý này – bạn có thể xem so sánh trong bài viết Giới hạn của làm mát bằng không khí.
Máy chủ AI gồm những gì và điều gì quyết định giá
Với các hệ sinh thái IT lớn, tiêu chuẩn đang là các hệ thống hoàn chỉnh của Dell hoặc HPE, hoặc rack trên kiến trúc NVIDIA Blackwell NVL72. Doanh nghiệp vừa và các triển khai cục bộ thường chọn cấu hình lắp ráp theo yêu cầu.
| Phân khúc hệ thống | Mô hình mục tiêu | Phần cứng điển hình | Làm mát |
|---|---|---|---|
| Hệ thống cục bộ (doanh nghiệp nhỏ) | Mô hình nhỏ hơn (Gemma 3, Phi-4, Mistral 24B) | Máy trạm với 1–2 card RTX (24–32 GB VRAM) hoặc Mac Studio 64 GB | Tản khí hiệu năng cao hoặc tản nước kín (AIO) |
| Máy chủ AI doanh nghiệp | Mô hình mở lớn (Llama 4 Scout, 109B) | Máy chủ nhiều GPU – card chơi game có VRAM lớn hoặc NVIDIA H100/H200, AMD MI300 | Không khí với cấu hình nhỏ hơn, chất lỏng direct-to-chip với GPU trung tâm dữ liệu |
| Trung tâm dữ liệu | Huấn luyện mô hình, cụm AI agent | Rack trên kiến trúc NVIDIA Blackwell GB200 | Hoàn toàn bằng chất lỏng (bộ CDU, tháp giải nhiệt) |
Giá của một cấu hình chủ yếu phụ thuộc vào:
- GPU và bộ nhớ của chúng (VRAM) – kích thước mô hình mà máy chủ có thể chứa trong bộ nhớ được quyết định bởi tổng VRAM của tất cả các card. Đây là khoản lớn nhất trong ngân sách.
- Bộ xử lý và bộ nhớ RAM – CPU máy chủ với đủ làn PCIe và hàng trăm GB RAM để xử lý dữ liệu.
- Nguồn điện và làm mát – máy chủ với bốn GPU mạnh tiêu thụ khoảng 2,5–3 kW, rack trung tâm dữ liệu từ vài chục đến hơn một trăm kW.
- Mạng – để kết nối nhiều máy chủ khi huấn luyện, cần mạng tốc độ cao (InfiniBand hoặc 400GbE).
Ví dụ phân khúc tầm trung trong danh mục sản phẩm của chúng tôi: Máy chủ AI với 4× RTX 5090 có tổng cộng 128 GB VRAM, bộ xử lý AMD EPYC, 512 GB RAM và công suất tiêu thụ khoảng 2.650 W. Giá và cấu hình hiện tại có tại trang sản phẩm.
Máy chủ AI sử dụng phần mềm gì
Để quản lý hiệu năng cục bộ, người ta dùng các công cụ như vLLM (cho hệ thống doanh nghiệp tải cao, với kỹ thuật PagedAttention) hoặc Ollama và LM Studio để nhanh chóng triển khai các dự án thử nghiệm.
Hạ tầng AI đang đi về đâu
Ngành máy chủ AI đang nhanh chóng rời xa mô hình "cứ thuê cloud là xong". Yếu tố quyết định ngày càng là hiệu năng trên mỗi watt, bảo vệ dữ liệu và khả năng kết nối hệ thống qua các giao thức mở.
Thành công sẽ thuộc về những doanh nghiệp biết cân bằng hiệu năng của chip mới với khả năng thực tế về nguồn điện và làm mát. AI cục bộ không còn là món đồ chơi đắt tiền cho người đam mê mà đang trở thành nền tảng cho sự độc lập và hiệu quả của doanh nghiệp.
Đọc tiếp
- Máy chủ AI PC Praha – cấu hình theo yêu cầu tùy theo mô hình bạn muốn vận hành.
- Có thể chuyển máy ASIC đào Bitcoin thành máy chủ AI không? – vì sao không được và những gì từ trang trại đào có thể tận dụng.
- Mining 2.0 – giới đào coin chuyển hướng sang hạ tầng AI như thế nào.
Câu hỏi thường gặp
Tôi cần bao nhiêu VRAM để chạy mô hình ngôn ngữ cục bộ?
Tại sao máy chủ AI cần làm mát bằng chất lỏng?
Máy chủ AI cục bộ có đáng hơn so với đám mây không?
Phần mềm nào được dùng cho AI cục bộ?
Máy chủ AI với bốn GPU tiêu thụ bao nhiêu điện?
Bài viết được soạn với sự hỗ trợ của AI. Dữ kiện, số liệu và quy trình đã được Yegor kiểm tra.
