NVIDIA CMP 170HX 64 GB HBM2e (feloldott)

Módosított változat, feloldott 64 GB HBM2e memóriával. Az NVIDIA CMP 170HX GA100 chipre épülő kártya – ugyanabból az Ampere generációból, mint az adatközponti A100. Gyárilag csak 8 GB memóriával rendelkezik; mi olyan példányokat árulunk, amelyeknél a memória a teljes 64 GB HBM2e-re van feloldva. Ennek köszönhetően ma ez az egyik legolcsóbb módja annak, hogy egy nagy nyelvi modell teljes egészében a videokártya gyors memóriájába kerüljön.

Gigabájtonként kb. 1 500 Kč-os áron (ÁFÁ-val) nagyjából harmadába kerül a nagy memóriájú professzionális kártyáknak. A memória kapacitása miatt vásárolja, ne a nyers számítási teljesítmény miatt – ez a korrekt összehasonlítás, és inkább rögtön az elején leírjuk.

Kinek szól

• Egyetlen nagy modell futtatása, amely betöltődik a memóriába és órákig fut (inferencia, chatbot, belső AI asszisztens).
• Kísérletezés nagy modellekkel korlátozott költségvetésből – 64 GB gyors memória a professzionális kártya árának töredékéért.
• Kötegelt inferencia, ahol a korlátot a memória mérete jelenti, nem a számítási teljesítmény.
• Többkártyás szerverek, ahol a modell rétegenként oszlik meg (pl. llama.cpp) – minden kártyának saját 64 GB memóriája van.

Mire nem alkalmas

• Tanításra és finomhangolásra (fine-tuning) – a számítási rész a teljes A100-hoz képest korlátozott.
• Olyan felhasználásra, ahol garantált és minden példánynál azonos teljesítményre van szükség – az egyes kártyák eltérnek egymástól; ilyen célra szívesen ajánljuk az RTX PRO 6000 kártyát.
• Hagyományos asztali PC-kbe – a kártyának nincs saját ventilátora és videokimenete.

Paraméterek

• GPU: NVIDIA GA100 (Ampere)
• Memória: 64 GB HBM2e (feloldott, gyárilag 8 GB)
• Memória-sávszélesség: 931–970 GB/s (saját mérésünk)
• Fogyasztás: legfeljebb 250 W, 60 perces tesztben tartósan 244–245 W
• Számítási teljesítmény: az A100-hoz képest korlátozott, példányonként eltér
• ECC: kikapcsolva
• Hűtés: passzív – erős légáram szükséges (szerverház, légcsatorna vagy kártyánként egy ventilátor)
• Videokimenetek: nincsenek
• Szoftver: Linux (Ubuntu 22.04 / 24.04), nyílt NVIDIA illesztőprogram feloldó szolgáltatással, llama.cpp / ik_llama.cpp
• Állapot: használt (bányászat után), szállítás előtt tesztelve

Hogyan működik a feloldás

A 64 GB memóriát egy módosított illesztőprogram teszi elérhetővé, amelyet egy szolgáltatás minden rendszerindítás után újra aktivál. A kernel vagy az illesztőprogram frissítése után a feloldást meg kell ismételni, különben a kártya ismét 8 GB-ot mutat – ezért javasoljuk az illesztőprogram verziójának rögzítését. A részletes, lépésről lépésre leírt folyamatot az Unlocking 64 GB HBM2e on Ubuntu útmutatóban találja (angol nyelvű). A beállításban szívesen segítünk.

Hány kártya milyen modellhez

A nagy mixture-of-experts típusú modellek több kártyára is elférnek: például a GLM-5.3-Flash Q4 minőségben teljes egészében elfér négy kártyán. Az 1–6 kártyára vonatkozó számítást, a szükséges RAM-ot és tápegységeket a Running GLM-5.3-Flash on CMP 170HX – a sizing guide útmutatóban találja (angol nyelvű). Két vagy több kártyához olyan alaplapot javaslunk, amelyen minden kártyának saját slotja van (EPYC / Threadripper), valamint a kártyák számától függően 1–2 kW-os tápegységet.

Gyakori kérdések

Látja a szoftverem mind a 64 GB-ot?
Igen, a feloldás után a teljes kapacitás címezhető – ez a fő oka annak, hogy megvegye a kártyát. A számítási teljesítmény azonban az A100-hoz képest korlátozott, és példányonként eltér.

Tehetek egy szerverbe több kártyát?
Igen. Minden kártyának saját 64 GB memóriája van, és a modell rétegenként oszlik meg közöttük. Írja meg nekünk, milyen modellt szeretne futtatni, és javaslatot teszünk a kártyák számára és a konfigurációra.

Speciális hűtést igényel?
Igen. A kártya passzív, és hagyományos házban túlmelegszik. Elölről hátrafelé áramló levegőjű szerverházra vagy ventilátoros légcsatornára van szüksége.

Összeszerelik nekem az egész szervert?
Igen – többkártyás AI szervert szerelünk össze és tesztelünk, telepítjük a rendszert és a feloldást, igény esetén pedig adatközpontunkban üzemeltetjük.

Rendelésre szállítjuk – a szállítási határidőt és az elérhető mennyiséget a rendelés vagy az érdeklődés után visszaigazoljuk. Több darabra egyedi ajánlatot készítünk – írjon nekünk.