Азарт окупился: Разработчик получает оборудование стоимостью $80 000 с 960 ГБ памяти DDR5 и суперчипом Nvidia GH200 за десятую часть цены
Менее недели назад мы рассказали об истории на Reddit, где геймеру удалось заполучить в свои руки мощный и хорошо оснащенный игровой ПК стоимостью около $3 000 всего за $600. Удивительно, но только 64 ГБ памяти DDR5 в системе стоят на данный момент $880, благодаря продолжающемуся сокращению поставок DRAM, вызвавшему беспрецедентный скачок цен на память.
оборудование стоимостью $80k по цене $8k: ИИ-разработчик срывает джекпот
Теперь одному из разработчиков ИИ, также через Reddit, удалось найти аппетитную сделку - подержанный сервер ИИ с двумя Nvidia GH200 суперчипами продается всего за 8 000 долларов. Если бы Вы покупали новую систему, она стоила бы где-то в районе 80 000 долларов, а скорее всего, даже больше, поскольку Nvidia H100 стоит около $40 000, как отмечает автор https://dnhkng.github.io/posts/hopper/. И еще, система оснащена внушительными 960 ГБ памяти LPDDR5X. Точные детали системы подробно описаны ниже, благодаря покупателю, Дэвиду Ноэлю Нг:
- Двойной суперчип Nvidia Grace-Hopper GH200 - каждый с 72-ядерным ARM CPU с 480 ГБ памяти LPDDR5X, GPU Hopper H100 с 96 ГБ памяти HBM3
- NVlink C2C с пропускной способностью 900 ГБ/с
- блок питания мощностью 3 кВт
- Два слота PCIe Gen4 M.2 22110/2280
- Четыре FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
Суперчип Nvidia GH200 по выгодной цене? Есть подвох
В другом ответе продавец сообщил, что система продается по выгодной цене из-за ее плохого состояния https://www.reddit.com/r/LocalLLaMA/comments/1m65iga/frankenserver_for_sale_at_a_steep_discount_2x96gb/...из-за того, что она была переделана из системы с жидкостным охлаждением в систему с воздушным охлаждением. Более того, они также упомянули, что ее нельзя установить в типичную серверную стойку, что обычно является обязательным условием.
Однако Дэвида не смутили эти недостатки, и он сам поехал к продавцу, чтобы проверить систему. К счастью, он обнаружил, что продавец имеет хорошую репутацию и находится примерно в 2 часах езды от места, где он живет.
Как только система была доставлена домой, Дэвид приготовил пылесос и несколько литров чистящего раствора, после чего приступил к работе. Как только сервер был очищен, была установлена новая система водяного охлаждения и проведено несколько ремонтных работ. Пожалуй, самым сложным было найти неисправный датчик температуры, который постоянно приводил к сбоям в работе сервера, но в конце концов все было улажено.
Массивные LLM прямо у себя дома: модели с параметрами 235B работают без сбоев
Дэвид, похоже, вполне доволен своей покупкой - и последующей возможностью запускать массивные модели LLM (235B) прямо у себя дома. Конечно, весь процесс потребовал тонны работы, большая часть которой не под силу тем, кто совсем недавно познакомился с аппаратным обеспечением корпоративного уровня. Но если учесть, что 960 ГБ одной только памяти DDR5 теперь стоят больше, чем он заплатил за всю систему, то это определенно счастливый конец.
Для тех, кто хочет запускать небольшие модели искусственного интеллекта дома без необходимости выкладывать 8 000 долларов и тратить еще несколько часов на настройку, возможно, лучшим выбором станет Strix Halo-powered GMKtec Evo-X2(в настоящее время 1 529,99 долларов на Amazon).
Источник(и)
Дэвид Ноэль Нг, Reddit, замечено Tom's Hardware
