NVIDIA CMP 170HX 64 GB HBM2e (odemčená)

Upravená verze s odemčenou pamětí 64 GB HBM2e. NVIDIA CMP 170HX je karta na čipu GA100 – stejné generaci Ampere jako datacentrová A100. Z výroby má jen 8 GB paměti; my prodáváme kusy, u kterých je paměť odemčená na plných 64 GB HBM2e. Díky tomu je to dnes jeden z nejlevnějších způsobů, jak dostat velký jazykový model celý do rychlé paměti grafické karty.

Za cenu kolem 1 500 Kč za gigabajt paměti (s DPH) stojí zhruba třetinu toho, co profesionální karty s velkou pamětí. Kupujte ji kvůli kapacitě paměti, ne kvůli hrubému výpočetnímu výkonu – to je férové srovnání a radši to napíšeme hned na začátku.

Pro koho je

• Provoz jednoho velkého modelu, který se načte do paměti a běží hodiny (inference, chatbot, interní AI asistent).
• Experimenty s velkými modely s omezeným rozpočtem – 64 GB rychlé paměti za zlomek ceny profesionální karty.
• Dávková inference, kde je limitem velikost paměti, ne výpočetní výkon.
• Servery s více kartami, kde se model dělí po vrstvách (např. llama.cpp) – každá karta má vlastních 64 GB.

Na co se nehodí

• Trénování a fine-tuning – výpočetní část je oproti plné A100 omezená.
• Nasazení, kde potřebujete garantovaný a u všech kusů stejný výkon – jednotlivé karty se liší; pro takové použití vám rádi nabídneme RTX PRO 6000.
• Běžná stolní PC – karta nemá vlastní ventilátor ani video výstupy.

Parametry

• GPU: NVIDIA GA100 (Ampere)
• Paměť: 64 GB HBM2e (odemčená, z výroby 8 GB)
• Propustnost paměti: 931–970 GB/s (naše měření)
• Spotřeba: do 250 W, v 60minutovém testu trvale 244–245 W
• Výpočetní výkon: oproti A100 omezený, mezi kusy se liší
• ECC: vypnuté
• Chlazení: pasivní – nutný silný proud vzduchu (serverová skříň, vzduchovod nebo ventilátor pro každou kartu)
• Video výstupy: žádné
• Software: Linux (Ubuntu 22.04 / 24.04), otevřený ovladač NVIDIA s odemykací službou, llama.cpp / ik_llama.cpp
• Stav: použitá (po těžbě), před odesláním otestovaná

Jak odemčení funguje

Paměť 64 GB zpřístupňuje upravený ovladač, který služba po každém startu systému znovu aktivuje. Po aktualizaci jádra nebo ovladače je potřeba odemčení obnovit, jinak karta znovu ukáže 8 GB – proto doporučujeme verzi ovladače zafixovat. Podrobný postup krok za krokem najdete v návodu Unlocking 64 GB HBM2e on Ubuntu (anglicky). S nastavením vám rádi pomůžeme.

Kolik karet na jaký model

Velké modely typu mixture-of-experts se vejdou do více karet: například GLM-5.3-Flash ve kvalitě Q4 se celý vejde do čtyř karet. Výpočet pro 1–6 karet, potřebnou RAM a zdroje najdete v průvodci Running GLM-5.3-Flash on CMP 170HX – a sizing guide (anglicky). Pro dvě a více karet doporučujeme desku s vlastním slotem pro každou kartu (EPYC / Threadripper) a zdroj 1–2 kW podle počtu karet.

Časté otázky

Uvidí můj software všech 64 GB?
Ano, po odemčení je adresovatelná celá kapacita – to je hlavní důvod, proč kartu koupit. Výpočetní výkon je ale oproti A100 omezený a mezi kusy se liší.

Můžu dát do jednoho serveru víc karet?
Ano. Každá karta má vlastních 64 GB a model se mezi ně dělí po vrstvách. Napište nám, jaký model chcete provozovat, a doporučíme počet karet i sestavu.

Potřebuje speciální chlazení?
Ano. Karta je pasivní a v běžné skříni se přehřeje. Potřebuje serverovou skříň s průchodem vzduchu zepředu dozadu nebo vzduchovod s ventilátorem.

Sestavíte mi celý server?
Ano – sestavíme a otestujeme AI server s více kartami, nainstalujeme systém a odemčení, případně ho provozujeme v našem datacentru.

Dodáváme na objednávku – termín dodání a dostupné množství potvrdíme po objednání nebo poptávce. Na více kusů připravíme individuální nabídku – napište nám.