Caracteristici principale
- 4× NVIDIA GeForce RTX 4090 24 GB GDDR6X – 96 GB de memorie grafică în total
- Procesor AMD EPYC 7542 (32 de nuclee / 64 de fire de execuție) și 256 GB de memorie DDR4 ECC, extensibilă la 512 GB
- Format rack 4U, două surse sincronizate de 2 kW, 2× 10 GbE și administrare la distanță IPMI
- La comandă – vă asamblăm o unitate nouă din componente pe care le avem în stoc
- Îl livrăm cu software preinstalat în funcție de ce doriți să rulați pe server – funcționează imediat după pornire
Configurație
| Componentă |
Specificații |
| Plăci grafice |
4× NVIDIA GeForce RTX 4090 24 GB GDDR6X (PCIe 4.0 x16) |
| Procesor |
AMD EPYC 7542 (32C/64T, 225 W) |
| Placă de bază |
ASRock Rack ROMED8-2T (7× PCIe 4.0 x16, 8× DDR4 ECC, 2× 10 GbE, IPMI) |
| Memorie RAM |
256 GB DDR4-2666 ECC RDIMM (extensibilă până la 512 GB) |
| Disc |
2 TB NVMe M.2 (PCIe 4.0) |
| Alimentare |
2× 2 kW ATX, sincronizate (4 kW în total) |
| Carcasă și răcire |
Rack 4U, ventilatoare de 120 mm cu flux de aer din față spre spate |
| Consum |
aprox. 2.200 W la sarcină maximă (plăci 4× 450 W, procesor 225 W) |
| Disponibilitate |
La comandă – vă asamblăm o unitate nouă (componente în stoc) |
Pentru cine este
Pentru firmele care doresc să ruleze modele de limbaj la propriul sediu – chatbot intern, asistent sau lucru cu documentația companiei (RAG). Datele nu părăsesc compania dumneavoastră și nu plătiți abonamente lunare pentru plăci grafice în cloud. 96 GB de memorie grafică sunt suficienți pentru modele de circa 70 de miliarde de parametri în formă cuantizată (de ex. Llama 3.3 70B), pentru mai multe modele mai mici simultan, pentru ajustarea fină (LoRA/QLoRA) a modelelor de 7–34 de miliarde de parametri, precum și pentru generarea de imagini și video (FLUX.1, SDXL). În testul nostru, Llama 3.3 70B (AWQ, 4 biți) a atins până la 179 de tokenuri pe secundă la 32 de cereri simultane. Când serverul nu lucrează la sarcinile dumneavoastră, poate mina criptomonede pe plăcile grafice.
Preinstalare, testare și service
Stabilim dinainte ce va rula pe server (de ex. Ubuntu, CUDA, Docker, vLLM, ComfyUI) și îl pregătim exact pentru sarcina dumneavoastră. Înainte de predare, testăm serverul timp de 72 de ore la sarcină maximă. Componentele le avem în stoc – vă asamblăm din ele un server nou și îl testăm, de regulă, în 7–14 zile lucrătoare de la aprobarea ofertei. Piesele de schimb esențiale le avem în stoc în Praga, iar intervenția de service și înlocuirea pieselor le asigurăm în 24/48 de ore. Garanția este de 24 de luni. Memoria, discurile sau plăcile de rețea le adaptăm după nevoile dumneavoastră.
Funcționare și amplasare
Serverul trebuie amplasat într-un rack sau într-o cameră tehnică cu răcire bună și cu un circuit electric care suportă aproximativ 2,3 kW. Nu doriți să vă ocupați de spațiu, zgomot și răcire? Amplasăm serverul în găzduirea noastră din centrul de date – condițiile le stabilim individual.