Klíčové vlastnosti
- 4× NVIDIA GeForce RTX 4090 24 GB GDDR6X – 96 GB grafické paměti celkem
- Procesor AMD EPYC 7542 (32 jader / 64 vláken) a 256 GB paměti DDR4 ECC, rozšiřitelné na 512 GB
- Rackové provedení 4U, dva synchronizované zdroje 2 kW, 2× 10 GbE a vzdálená správa IPMI
- Na objednávku – sestavíme vám nový kus z komponent, které máme skladem
- Dodáváme s předinstalovaným softwarem podle toho, co na serveru chcete provozovat – po zapnutí hned pracuje
Konfigurace
| Komponenta |
Specifikace |
| Grafické karty |
4× NVIDIA GeForce RTX 4090 24 GB GDDR6X (PCIe 4.0 x16) |
| Procesor |
AMD EPYC 7542 (32C/64T, 225 W) |
| Základní deska |
ASRock Rack ROMED8-2T (7× PCIe 4.0 x16, 8× DDR4 ECC, 2× 10 GbE, IPMI) |
| Operační paměť |
256 GB DDR4-2666 ECC RDIMM (rozšíření až na 512 GB) |
| Disk |
2 TB NVMe M.2 (PCIe 4.0) |
| Napájení |
2× 2 kW ATX, synchronizované (4 kW celkem) |
| Skříň a chlazení |
4U rack, 120mm ventilátory s průtokem vzduchu zepředu dozadu |
| Příkon |
cca 2 200 W při plné zátěži (karty 4× 450 W, procesor 225 W) |
| Dostupnost |
Na objednávku – sestavíme vám nový kus (komponenty skladem) |
Pro koho je
Pro firmy, které chtějí provozovat jazykové modely u sebe – interní chatbot, asistent nebo práci s firemní dokumentací (RAG). Data neopouštějí vaši firmu a neplatíte měsíční poplatky za grafické karty v cloudu. 96 GB grafické paměti stačí na modely kolem 70 miliard parametrů v kvantizované podobě (např. Llama 3.3 70B), na několik menších modelů naráz, na doladění (LoRA/QLoRA) modelů o velikosti 7–34 miliard parametrů i na generování obrázků a videa (FLUX.1, SDXL). V našem testu dosáhla Llama 3.3 70B (AWQ, 4 bity) až 179 tokenů za sekundu při 32 souběžných dotazech. Když server zrovna nepočítá vaše úlohy, může těžit kryptoměny na grafických kartách.
Předinstalace, test a servis
Předem se domluvíme, co na serveru poběží (např. Ubuntu, CUDA, Docker, vLLM, ComfyUI), a připravíme ho přesně pro váš úkol. Před předáním server 72 hodin testujeme pod plnou zátěží. Komponenty máme skladem – server vám z nich sestavíme nový a otestujeme obvykle do 7–14 pracovních dnů od schválení nabídky. Klíčové náhradní díly držíme skladem v Praze, servisní zásah a výměnu dílů zajistíme do 24/48 hodin. Záruka je 24 měsíců. Paměť, disky nebo síťové karty upravíme podle vašich potřeb.
Provoz a umístění
Server patří do racku nebo technické místnosti s dobrým chlazením a s okruhem, který unese zhruba 2,3 kW. Nechcete řešit místo, hluk a chlazení? Server umístíme na náš hosting v datacentru – podmínky domluvíme individuálně.