NVIDIA CMP 170HX 64 GB HBM2e (odblokowana)

Zmodyfikowana wersja z odblokowaną pamięcią 64 GB HBM2e. NVIDIA CMP 170HX to karta na chipie GA100 – tej samej generacji Ampere co A100 do centrów danych. Fabrycznie ma tylko 8 GB pamięci; my sprzedajemy egzemplarze, w których pamięć jest odblokowana do pełnych 64 GB HBM2e. Dzięki temu to dziś jeden z najtańszych sposobów, by zmieścić duży model językowy w całości w szybkiej pamięci karty graficznej.

Przy cenie ok. 1 500 Kč za gigabajt pamięci (z VAT) kosztuje mniej więcej jedną trzecią tego, co profesjonalne karty z dużą pamięcią. Warto ją kupić ze względu na pojemność pamięci, a nie surową moc obliczeniową – to uczciwe porównanie i wolimy napisać to od razu na początku.

Dla kogo

• Uruchamianie jednego dużego modelu, który zostaje wczytany do pamięci i działa godzinami (inferencja, chatbot, wewnętrzny asystent AI).
• Eksperymenty z dużymi modelami przy ograniczonym budżecie – 64 GB szybkiej pamięci za ułamek ceny profesjonalnej karty.
• Inferencja wsadowa, gdzie ograniczeniem jest wielkość pamięci, a nie moc obliczeniowa.
• Serwery z wieloma kartami, w których model dzieli się warstwami (np. llama.cpp) – każda karta ma własne 64 GB.

Do czego się nie nadaje

• Trening i fine-tuning – część obliczeniowa jest ograniczona w porównaniu z pełną A100.
• Wdrożenia, w których potrzebna jest gwarantowana i jednakowa wydajność wszystkich egzemplarzy – poszczególne karty się różnią; do takich zastosowań chętnie zaproponujemy RTX PRO 6000.
• Zwykłe komputery stacjonarne – karta nie ma własnego wentylatora ani wyjść wideo.

Parametry

• GPU: NVIDIA GA100 (Ampere)
• Pamięć: 64 GB HBM2e (odblokowana, fabrycznie 8 GB)
• Przepustowość pamięci: 931–970 GB/s (nasze pomiary)
• Pobór mocy: do 250 W, w 60-minutowym teście stale 244–245 W
• Moc obliczeniowa: ograniczona w porównaniu z A100, różni się między egzemplarzami
• ECC: wyłączone
• Chłodzenie: pasywne – wymagany silny przepływ powietrza (obudowa serwerowa, kanał powietrzny lub wentylator dla każdej karty)
• Wyjścia wideo: brak
• Oprogramowanie: Linux (Ubuntu 22.04 / 24.04), otwarty sterownik NVIDIA z usługą odblokowującą, llama.cpp / ik_llama.cpp
• Stan: używana (po kopaniu kryptowalut), przetestowana przed wysyłką

Jak działa odblokowanie

Pamięć 64 GB udostępnia zmodyfikowany sterownik, który usługa aktywuje ponownie po każdym uruchomieniu systemu. Po aktualizacji jądra lub sterownika trzeba odblokowanie przywrócić, w przeciwnym razie karta znów pokaże 8 GB – dlatego zalecamy zablokowanie wersji sterownika. Szczegółową instrukcję krok po kroku znajdą Państwo w poradniku Unlocking 64 GB HBM2e on Ubuntu (po angielsku). Chętnie pomożemy w konfiguracji.

Ile kart na jaki model

Duże modele typu mixture-of-experts mieszczą się na kilku kartach: na przykład GLM-5.3-Flash w jakości Q4 mieści się w całości na czterech kartach. Obliczenia dla 1–6 kart, potrzebną ilość RAM i zasilacze znajdą Państwo w przewodniku Running GLM-5.3-Flash on CMP 170HX – a sizing guide (po angielsku). Przy dwóch i więcej kartach zalecamy płytę z osobnym slotem dla każdej karty (EPYC / Threadripper) i zasilacz 1–2 kW w zależności od liczby kart.

Częste pytania

Czy moje oprogramowanie zobaczy wszystkie 64 GB?
Tak, po odblokowaniu adresowalna jest cała pojemność – to główny powód, by kupić tę kartę. Moc obliczeniowa jest jednak ograniczona w porównaniu z A100 i różni się między egzemplarzami.

Czy mogę zamontować kilka kart w jednym serwerze?
Tak. Każda karta ma własne 64 GB, a model dzieli się między nie warstwami. Prosimy napisać, jaki model chcą Państwo uruchamiać, a doradzimy liczbę kart i konfigurację.

Czy potrzebne jest specjalne chłodzenie?
Tak. Karta jest pasywna i w zwykłej obudowie się przegrzeje. Potrzebuje obudowy serwerowej z przepływem powietrza od przodu do tyłu lub kanału powietrznego z wentylatorem.

Czy złożą Państwo dla mnie cały serwer?
Tak – złożymy i przetestujemy serwer AI z wieloma kartami, zainstalujemy system i odblokowanie, a w razie potrzeby możemy go utrzymywać w naszym centrum danych.

Dostarczamy na zamówienie – termin dostawy i dostępną ilość potwierdzimy po złożeniu zamówienia lub zapytania. Przy większej liczbie sztuk przygotujemy indywidualną ofertę – prosimy o kontakt.