NVIDIA CMP 170HX 64 GB HBM2e (deblocată)

Versiune modificată cu memorie deblocată de 64 GB HBM2e. NVIDIA CMP 170HX este o placă bazată pe cipul GA100 – aceeași generație Ampere ca A100 pentru centre de date. Din fabrică are doar 8 GB de memorie; noi vindem exemplare la care memoria este deblocată la întreaga capacitate de 64 GB HBM2e. Datorită acestui lucru, este astăzi una dintre cele mai ieftine metode de a încărca un model mare de limbaj complet în memoria rapidă a unei plăci grafice.

La un preț de circa 1.500 Kč per gigabyte de memorie (cu TVA), costă aproximativ o treime din cât costă plăcile profesionale cu memorie mare. Cumpărați-o pentru capacitatea memoriei, nu pentru puterea brută de calcul – aceasta este comparația corectă și preferăm să o spunem de la început.

Pentru cine este

• Rularea unui singur model mare, care se încarcă în memorie și funcționează ore întregi (inferență, chatbot, asistent AI intern).
• Experimente cu modele mari cu buget limitat – 64 GB de memorie rapidă pentru o fracțiune din prețul unei plăci profesionale.
• Inferență în loturi, unde limita este dimensiunea memoriei, nu puterea de calcul.
• Servere cu mai multe plăci, unde modelul se împarte pe straturi (de ex. llama.cpp) – fiecare placă are propriii 64 GB.

Pentru ce nu este potrivită

• Antrenare și fine-tuning – partea de calcul este limitată față de un A100 complet.
• Implementări în care aveți nevoie de o performanță garantată și identică la toate exemplarele – plăcile individuale diferă; pentru o astfel de utilizare vă oferim cu plăcere RTX PRO 6000.
• PC-uri desktop obișnuite – placa nu are ventilator propriu și nici ieșiri video.

Parametri

• GPU: NVIDIA GA100 (Ampere)
• Memorie: 64 GB HBM2e (deblocată, din fabrică 8 GB)
• Lățime de bandă a memoriei: 931–970 GB/s (măsurătorile noastre)
• Consum: până la 250 W, în testul de 60 de minute constant 244–245 W
• Putere de calcul: limitată față de A100, diferă de la un exemplar la altul
• ECC: dezactivat
• Răcire: pasivă – necesită un flux puternic de aer (carcasă de server, tunel de aer sau ventilator pentru fiecare placă)
• Ieșiri video: niciuna
• Software: Linux (Ubuntu 22.04 / 24.04), driver NVIDIA open-source cu serviciu de deblocare, llama.cpp / ik_llama.cpp
• Stare: second-hand (după minerit), testată înainte de expediere

Cum funcționează deblocarea

Memoria de 64 GB este făcută accesibilă de un driver modificat, pe care un serviciu îl reactivează după fiecare pornire a sistemului. După actualizarea kernelului sau a driverului, deblocarea trebuie refăcută, altfel placa va afișa din nou 8 GB – de aceea vă recomandăm să fixați versiunea driverului. Procedura detaliată pas cu pas o găsiți în ghidul Unlocking 64 GB HBM2e on Ubuntu (în limba engleză). Vă ajutăm cu plăcere la configurare.

Câte plăci pentru ce model

Modelele mari de tip mixture-of-experts încap pe mai multe plăci: de exemplu, GLM-5.3-Flash la calitate Q4 încape complet pe patru plăci. Calculul pentru 1–6 plăci, memoria RAM și sursele necesare le găsiți în ghidul Running GLM-5.3-Flash on CMP 170HX – a sizing guide (în limba engleză). Pentru două sau mai multe plăci recomandăm o placă de bază cu slot propriu pentru fiecare placă (EPYC / Threadripper) și o sursă de 1–2 kW, în funcție de numărul de plăci.

Întrebări frecvente

Va vedea software-ul meu toți cei 64 GB?
Da, după deblocare întreaga capacitate este adresabilă – acesta este motivul principal pentru care merită cumpărată placa. Puterea de calcul este însă limitată față de A100 și diferă de la un exemplar la altul.

Pot pune mai multe plăci într-un singur server?
Da. Fiecare placă are propriii 64 GB, iar modelul se împarte între ele pe straturi. Scrieți-ne ce model doriți să rulați și vă recomandăm numărul de plăci și configurația.

Are nevoie de răcire specială?
Da. Placa este pasivă și într-o carcasă obișnuită se supraîncălzește. Are nevoie de o carcasă de server cu flux de aer din față spre spate sau de un tunel de aer cu ventilator.

Îmi puteți asambla un server complet?
Da – asamblăm și testăm un server AI cu mai multe plăci, instalăm sistemul și deblocarea și, eventual, îl operăm în centrul nostru de date.

Livrăm la comandă – termenul de livrare și cantitatea disponibilă le confirmăm după comandă sau solicitare. Pentru mai multe bucăți pregătim o ofertă individuală – scrieți-ne.