NVIDIA CMP 170HX 64 GB HBM2e (odomknutá)

Upravená verzia s pamäťou odomknutou na 64 GB HBM2e. NVIDIA CMP 170HX je karta na čipe GA100 – rovnakej generácii Ampere ako dátacentrová A100. Z výroby má len 8 GB pamäte; my predávame kusy, ktorých pamäť je odomknutá na plných 64 GB HBM2e. Vďaka tomu je to dnes jeden z najlacnejších spôsobov, ako dostať veľký jazykový model celý do rýchlej pamäte grafickej karty.

Pri cene okolo 1 500 CZK za gigabajt pamäte (s DPH) stojí zhruba tretinu toho, čo profesionálne karty s veľkou pamäťou. Kupujte ju kvôli kapacite pamäte, nie kvôli hrubému výpočtovému výkonu – to je férové porovnanie a radšej to napíšeme hneď na začiatku.

Pre koho je

• Prevádzka jedného veľkého modelu, ktorý sa načíta do pamäte a beží hodiny (inferencia, chatbot, interný AI asistent).
• Experimenty s veľkými modelmi s obmedzeným rozpočtom – 64 GB rýchlej pamäte za zlomok ceny profesionálnej karty.
• Dávková inferencia, kde je limitom veľkosť pamäte, nie výpočtový výkon.
• Servery s viacerými kartami, kde sa model delí po vrstvách (napr. llama.cpp) – každá karta má vlastných 64 GB.

Na čo sa nehodí

• Trénovanie a fine-tuning – výpočtová časť je oproti plnej A100 obmedzená.
• Nasadenie, kde potrebujete garantovaný a pri všetkých kusoch rovnaký výkon – jednotlivé karty sa líšia; pre také použitie vám radi ponúkneme RTX PRO 6000.
• Bežné stolné PC – karta nemá vlastný ventilátor ani video výstupy.

Parametre

• GPU: NVIDIA GA100 (Ampere)
• Pamäť: 64 GB HBM2e (odomknutá, z výroby 8 GB)
• Priepustnosť pamäte: 931–970 GB/s (naše meranie)
• Spotreba: do 250 W, v 60-minútovom teste trvalo 244–245 W
• Výpočtový výkon: oproti A100 obmedzený, medzi kusmi sa líši
• ECC: vypnuté
• Chladenie: pasívne – nutný silný prúd vzduchu (serverová skriňa, vzduchovod alebo ventilátor pre každú kartu)
• Video výstupy: žiadne
• Softvér: Linux (Ubuntu 22.04 / 24.04), otvorený ovládač NVIDIA s odomykacou službou, llama.cpp / ik_llama.cpp
• Stav: použitá (po ťažbe), pred odoslaním otestovaná

Ako odomknutie funguje

Pamäť 64 GB sprístupňuje upravený ovládač, ktorý služba po každom štarte systému znovu aktivuje. Po aktualizácii jadra alebo ovládača je potrebné odomknutie obnoviť, inak karta znovu ukáže 8 GB – preto odporúčame verziu ovládača zafixovať. Podrobný postup krok za krokom nájdete v návode Unlocking 64 GB HBM2e on Ubuntu (anglicky). S nastavením vám radi pomôžeme.

Koľko kariet na aký model

Veľké modely typu mixture-of-experts sa zmestia do viacerých kariet: napríklad GLM-5.3-Flash v kvalite Q4 sa celý zmestí do štyroch kariet. Výpočet pre 1–6 kariet, potrebnú RAM a zdroje nájdete v sprievodcovi Running GLM-5.3-Flash on CMP 170HX – a sizing guide (anglicky). Pre dve a viac kariet odporúčame dosku s vlastným slotom pre každú kartu (EPYC / Threadripper) a zdroj 1–2 kW podľa počtu kariet.

Časté otázky

Uvidí môj softvér všetkých 64 GB?
Áno, po odomknutí je adresovateľná celá kapacita – to je hlavný dôvod, prečo kartu kúpiť. Výpočtový výkon je však oproti A100 obmedzený a medzi kusmi sa líši.

Môžem dať do jedného servera viac kariet?
Áno. Každá karta má vlastných 64 GB a model sa medzi ne delí po vrstvách. Napíšte nám, aký model chcete prevádzkovať, a odporučíme počet kariet aj zostavu.

Potrebuje špeciálne chladenie?
Áno. Karta je pasívna a v bežnej skrini sa prehreje. Potrebuje serverovú skriňu s prúdením vzduchu spredu dozadu alebo vzduchovod s ventilátorom.

Zostavíte mi celý server?
Áno – zostavíme a otestujeme AI server s viacerými kartami, nainštalujeme systém a odomknutie, prípadne ho prevádzkujeme v našom dátacentre.

Dodávame na objednávku – termín dodania a dostupné množstvo potvrdíme po objednaní alebo dopyte. Na viac kusov pripravíme individuálnu ponuku – napíšte nám.