NVIDIA CMP 170HX 64 GB HBM2e (розблокована)

Модифікована версія з розблокованою пам’яттю 64 GB HBM2e. NVIDIA CMP 170HX – карта на чипі GA100 того ж покоління Ampere, що й серверна A100. З заводу вона має лише 8 GB пам’яті; ми продаємо екземпляри, у яких пам’ять розблоковано до повних 64 GB HBM2e. Завдяки цьому сьогодні це один із найдешевших способів повністю розмістити велику мовну модель у швидкій пам’яті відеокарти.

За ціною близько 1 500 Kč за гігабайт пам’яті (з ПДВ) вона коштує приблизно третину від ціни професійних карт із великим обсягом пам’яті. Купуйте її заради обсягу пам’яті, а не заради чистої обчислювальної потужності – це чесне порівняння, і краще сказати про це одразу.

Для кого

• Робота однієї великої моделі, яка завантажується в пам’ять і працює годинами (інференс, чат-бот, внутрішній AI-асистент).
• Експерименти з великими моделями за обмеженого бюджету – 64 GB швидкої пам’яті за невелику частку ціни професійної карти.
• Пакетний інференс, де обмеженням є обсяг пам’яті, а не обчислювальна потужність.
• Сервери з кількома картами, де модель ділиться за шарами (наприклад, llama.cpp), – кожна карта має власні 64 GB.

Для чого не підходить

• Навчання та fine-tuning – обчислювальна частина порівняно з повноцінною A100 обмежена.
• Завдання, де потрібна гарантована й однакова на всіх екземплярах продуктивність, – окремі карти відрізняються; для таких завдань ми охоче запропонуємо RTX PRO 6000.
• Звичайні настільні ПК – карта не має власного вентилятора й відеовиходів.

Характеристики

• GPU: NVIDIA GA100 (Ampere)
• Пам’ять: 64 GB HBM2e (розблокована, з заводу 8 GB)
• Пропускна здатність пам’яті: 931–970 GB/s (наші вимірювання)
• Енергоспоживання: до 250 W, у 60-хвилинному тесті стабільно 244–245 W
• Обчислювальна потужність: обмежена порівняно з A100, відрізняється між екземплярами
• ECC: вимкнено
• Охолодження: пасивне – потрібен потужний потік повітря (серверний корпус, повітровод або вентилятор для кожної карти)
• Відеовиходи: немає
• ПЗ: Linux (Ubuntu 22.04 / 24.04), відкритий драйвер NVIDIA зі службою розблокування, llama.cpp / ik_llama.cpp
• Стан: вживана (після майнінгу), протестована перед відправленням

Як працює розблокування

Пам’ять 64 GB стає доступною завдяки модифікованому драйверу, який служба знову активує після кожного запуску системи. Після оновлення ядра або драйвера розблокування потрібно відновити, інакше карта знову покаже 8 GB, – тому радимо зафіксувати версію драйвера. Детальну покрокову інструкцію ви знайдете в посібнику Unlocking 64 GB HBM2e on Ubuntu (англійською). З налаштуванням ми охоче допоможемо.

Скільки карт для якої моделі

Великі моделі типу mixture-of-experts можна розподілити між кількома картами: наприклад, GLM-5.3-Flash у якості Q4 повністю вміщується в чотири карти. Розрахунок для 1–6 карт, потрібний обсяг RAM і блоки живлення ви знайдете в посібнику Running GLM-5.3-Flash on CMP 170HX – a sizing guide (англійською). Для двох і більше карт радимо плату з окремим слотом для кожної карти (EPYC / Threadripper) і блок живлення на 1–2 kW залежно від кількості карт.

Часті запитання

Чи побачить моє ПЗ всі 64 GB?
Так, після розблокування адресується весь обсяг – це головна причина купити карту. Проте обчислювальна потужність порівняно з A100 обмежена й відрізняється між екземплярами.

Чи можна встановити в один сервер кілька карт?
Так. Кожна карта має власні 64 GB, і модель розподіляється між ними за шарами. Напишіть нам, яку модель ви хочете запускати, і ми порадимо кількість карт і конфігурацію.

Чи потрібне спеціальне охолодження?
Так. Карта пасивна й у звичайному корпусі перегріється. Їй потрібен серверний корпус із продувом спереду назад або повітровод із вентилятором.

Зберете мені весь сервер?
Так – зберемо й протестуємо AI-сервер із кількома картами, встановимо систему та розблокування, а за бажання розмістимо його в нашому дата-центрі.

Постачаємо під замовлення – термін постачання й доступну кількість підтвердимо після замовлення або запиту. На кілька штук підготуємо індивідуальну пропозицію – напишіть нам.