Najważniejsze cechy
- 4× NVIDIA GeForce RTX 4090 24 GB GDDR6X – łącznie 96 GB pamięci graficznej
- Procesor AMD EPYC 7542 (32 rdzenie / 64 wątki) i 256 GB pamięci DDR4 ECC z możliwością rozbudowy do 512 GB
- Obudowa rack 4U, dwa zsynchronizowane zasilacze 2 kW, 2× 10 GbE i zdalne zarządzanie IPMI
- Na zamówienie – złożymy dla Państwa nowy egzemplarz z komponentów, które mamy w magazynie
- Dostarczamy z preinstalowanym oprogramowaniem dopasowanym do tego, co chcą Państwo uruchamiać – po włączeniu od razu działa
Konfiguracja
| Komponent |
Specyfikacja |
| Karty graficzne |
4× NVIDIA GeForce RTX 4090 24 GB GDDR6X (PCIe 4.0 x16) |
| Procesor |
AMD EPYC 7542 (32C/64T, 225 W) |
| Płyta główna |
ASRock Rack ROMED8-2T (7× PCIe 4.0 x16, 8× DDR4 ECC, 2× 10 GbE, IPMI) |
| Pamięć RAM |
256 GB DDR4-2666 ECC RDIMM (rozbudowa do 512 GB) |
| Dysk |
2 TB NVMe M.2 (PCIe 4.0) |
| Zasilanie |
2× 2 kW ATX, zsynchronizowane (łącznie 4 kW) |
| Obudowa i chłodzenie |
rack 4U, wentylatory 120 mm z przepływem powietrza od przodu do tyłu |
| Pobór mocy |
ok. 2 200 W przy pełnym obciążeniu (karty 4× 450 W, procesor 225 W) |
| Dostępność |
Na zamówienie – złożymy dla Państwa nowy egzemplarz (komponenty w magazynie) |
Dla kogo
Dla firm, które chcą uruchamiać modele językowe u siebie – wewnętrzny chatbot, asystent lub praca z dokumentacją firmową (RAG). Dane nie opuszczają firmy, a Państwo nie płacą miesięcznych opłat za karty graficzne w chmurze. 96 GB pamięci graficznej wystarcza na modele ok. 70 miliardów parametrów w wersji kwantyzowanej (np. Llama 3.3 70B), na kilka mniejszych modeli jednocześnie, na dostrajanie (LoRA/QLoRA) modeli o wielkości 7–34 miliardów parametrów oraz do generowania obrazów i wideo (FLUX.1, SDXL). W naszym teście Llama 3.3 70B (AWQ, 4 bity) osiągnęła do 179 tokenów na sekundę przy 32 równoczesnych zapytaniach. Gdy serwer akurat nie liczy Państwa zadań, może służyć do kopania kryptowalut na kartach graficznych.
Preinstalacja, testy i serwis
Wcześniej ustalimy, co będzie działać na serwerze (np. Ubuntu, CUDA, Docker, vLLM, ComfyUI), i przygotujemy go dokładnie pod Państwa zadanie. Przed wydaniem testujemy serwer przez 72 godziny pod pełnym obciążeniem. Komponenty mamy w magazynie – złożymy z nich nowy serwer i przetestujemy go zwykle w ciągu 7–14 dni roboczych od akceptacji oferty. Kluczowe części zamienne mamy w magazynie w Pradze, interwencję serwisową i wymianę części zapewniamy w ciągu 24/48 godzin. Gwarancja 24 miesiące. Pamięć, dyski lub karty sieciowe dostosujemy do Państwa potrzeb.
Eksploatacja i lokalizacja
Serwer powinien stać w szafie rack lub pomieszczeniu technicznym z dobrym chłodzeniem i obwodem elektrycznym, który wytrzyma ok. 2,3 kW. Nie chcą Państwo zajmować się miejscem, hałasem i chłodzeniem? Umieścimy serwer w naszym hostingu w centrum danych – warunki ustalimy indywidualnie.