Főbb jellemzők
- 4× NVIDIA GeForce RTX 4090 24 GB GDDR6X – összesen 96 GB grafikus memória
- AMD EPYC 7542 processzor (32 mag / 64 szál) és 256 GB DDR4 ECC memória, 512 GB-ig bővíthető
- 4U rack kivitel, két szinkronizált 2 kW-os tápegység, 2× 10 GbE és IPMI távfelügyelet
- Rendelésre – új példányt szerelünk össze Önnek a raktáron lévő alkatrészekből
- Előtelepített szoftverrel szállítjuk aszerint, amit a szerveren futtatni szeretne – bekapcsolás után azonnal dolgozik
Konfiguráció
| Komponens |
Specifikáció |
| Videokártyák |
4× NVIDIA GeForce RTX 4090 24 GB GDDR6X (PCIe 4.0 x16) |
| Processzor |
AMD EPYC 7542 (32C/64T, 225 W) |
| Alaplap |
ASRock Rack ROMED8-2T (7× PCIe 4.0 x16, 8× DDR4 ECC, 2× 10 GbE, IPMI) |
| Operatív memória |
256 GB DDR4-2666 ECC RDIMM (512 GB-ig bővíthető) |
| Meghajtó |
2 TB NVMe M.2 (PCIe 4.0) |
| Tápellátás |
2× 2 kW ATX, szinkronizált (összesen 4 kW) |
| Ház és hűtés |
4U rack, 120 mm-es ventilátorok elölről hátrafelé irányuló légárammal |
| Teljesítményfelvétel |
kb. 2 200 W teljes terhelésen (kártyák 4× 450 W, processzor 225 W) |
| Elérhetőség |
Rendelésre – új példányt szerelünk össze Önnek (alkatrészek raktáron) |
Kinek szól
Cégeknek, amelyek saját telephelyükön szeretnének nyelvi modelleket futtatni – belső chatbot, asszisztens vagy a céges dokumentációval való munka (RAG). Az adatok nem hagyják el a céget, és nem fizet havi díjat a felhőben bérelt videokártyákért. A 96 GB grafikus memória elegendő a kb. 70 milliárd paraméteres modellekhez kvantált formában (pl. Llama 3.3 70B), több kisebb modell egyidejű futtatásához, 7–34 milliárd paraméteres modellek finomhangolásához (LoRA/QLoRA), valamint kép- és videógeneráláshoz (FLUX.1, SDXL). Tesztünkben a Llama 3.3 70B (AWQ, 4 bit) 32 egyidejű lekérdezés mellett akár 179 tokent ért el másodpercenként. Amikor a szerver éppen nem az Ön feladatain dolgozik, a videokártyákon kriptovalutát bányászhat.
Előtelepítés, teszt és szerviz
Előre egyeztetjük, mi fog futni a szerveren (pl. Ubuntu, CUDA, Docker, vLLM, ComfyUI), és pontosan az Ön feladatára készítjük fel. Átadás előtt a szervert 72 órán át teljes terhelés alatt teszteljük. Az alkatrészek raktáron vannak – a szervert ezekből újonnan szereljük össze és teszteljük, általában az ajánlat jóváhagyásától számított 7–14 munkanapon belül. A kulcsfontosságú pótalkatrészeket Prágában raktáron tartjuk, a szervizbeavatkozást és az alkatrészcserét 24/48 órán belül biztosítjuk. 24 hónap garancia. A memóriát, a meghajtókat vagy a hálózati kártyákat az Ön igényei szerint módosítjuk.
Üzemeltetés és elhelyezés
A szerver rackbe vagy jó hűtésű műszaki helyiségbe való, olyan áramkörre, amely nagyjából 2,3 kW-ot elbír. Nem szeretne a hellyel, a zajjal és a hűtéssel foglalkozni? A szervert elhelyezzük hosting szolgáltatásunkban az adatközpontban – a feltételeket egyedileg egyeztetjük.