Куда пропадали видеокарты: как устроена майнинговая ферма Ethereum

Меня везут в здание бывшей фабрики на окраине Таллина.

К счастью, не в багажнике, но адрес пункта назначения попросили не разглашать и сооружение снаружи не фотографировать — чтобы интересующиеся по фотографиям не смогли определить, где именно находится новая майнинговая ферма. Как ни удивительно, но желающих это узнать почему-то немало.

Меня везут в здание бывшей фабрики на окраине Таллина.

Вряд ли есть на свете люди, которые, проснувшись, решают: а не построить ли мне сегодня личный дата-центр. Обычно к таким решениям приводит цепочка событий и условий, которые и приводят к такому решению.

В этой истории всё началось в 2015 году с ажиотажа вокруг тогда ещё новой криптовалюты Ethereum, которая всего за год с небольшим взлетела до капитализации почти в миллиард долларов. Разумеется, вместе с курсом взлетел и спрос на майнинг новой крипты.

Майнить Ethereum лучшего всего на видеокартах. Почему майнинг на видоекартах быстрее майнинга на процессорах написано уже немало, а особенности некоторых криптовалют делают это и вовсе безнадёжным занятием — скажем, когда валюта использует несколько алгоритмов шифрования, и они идут в определённой последовательности, то при изменении алгоритма, ASIC перестанет работать.

Тот же «Эфир» из-за его хитрого алгоритма пока нельзя майнить с помощью ASIC. На GPU же можно добывать любую валюту.

Однако видеокарты не получится просто поставить в стойки в дата-центре. Их главная проблема — охлаждение. Корпуса современных серверов чётко заточены под максимально эффективное охлаждение: с одной стороны — забор воздуха, с другой — отдача.

Даже ASIC-майнеры давно выпускаются в стандартных корпусах, пригодных для размещения в серверных шкафах в дата-центре. Создатели же видеокарт об этом совершенно не заботятся, потому что не были готовы к тому, что кому-то придёт в голову разворачивать целые фермы на их основе. В стойку их не поставить, потому что все видеокарты смотрят в разные стороны, зато если что-то пойдёт не так (бывает, летят вентиляторы и т.д.) — можно просто выключить и убрать поломанное звено.

В такие моменты начинаешь ценить ремонтопригодность
В такие моменты начинаешь ценить ремонтопригодность

Можно, конечно, конечно, установить видеокарты в компьютерные корпуса, но это увеличит их цену и осложнит удобство ремонта и замены. Это решение для 1-2 видеокарт, поэтому промышленного интереса не представляет. К тому же админы дата-центров не обучены и не горят желание с ними работать.

Итак: требуется майнинговая ферма на видеокартах, которую нельзя развернуть в обычном дата-центре. Решение этой проблемы вы уже знаете: построить её самим.

Для обустройства фермы было арендовано помещение на территории бывшей советской фабрики на окраине эстонской столицы. Пустынное и прохладное здание резко теплеет по мере приближения к помещению, где творится магия майнинга.

Внутри настолько жарко, что админы в майках и шортах не выглядят убедительно — хочется снять с себя не только одежду, но и кожу.

Охлаждение стало краеугольным камнем собственного дата-центра: возможностей имевшейся вентиляции явно было недостаточно.

Стандартный воздуховод и близко не справляется с потребностями майнинговой фермы
Стандартный воздуховод и близко не справляется с потребностями майнинговой фермы

Если вы когда-нибудь задумаете продать душу дьяволу за работу в жарком климате, обязательно уточните, что это должен быть Таиланд, а не майнинговая ферма, не то рискуете обнаружить себя в шлёпках и шортах посреди Эстонии:

На работу как на пляж
На работу как на пляж

Инженеры подсчитали, что для поддержки температуры железа, потребляющего 100 КВт/ч хотя бы на уровне +35° при расчётной уличной температуре в +25°С потребуется воздухообмен 35 000 м³/час.

Это означает, что для забора свежего воздуха необходимо отверстие минимум в 5 м², а для выброса — два воздуховода по 630 мм с вентиляторами.

Пока вентиляция переделывается, не помешает никакая помощь
Пока вентиляция переделывается, не помешает никакая помощь

На этом фоне организация самой фермы выглядит не сложнее сборки Lego: на обычных металлических стеллажах расположились материнские платы Asrock H81 Pro BTC, видеокарты AMD R9 380, R9 380x (Sapphire/MSI), PCI-E райзеры, которые нужны, чтобы к ограниченному количеству разъёмов для GPU на стандартной материнской плате подключить сразу несколько видеокарт, и блоки питания EVGA SuperNOVA 1300 G2 1300W.

Меня везут в здание бывшей фабрики на окраине Таллина.-6

Разумеется, ферма со всех сторон просматривается камерами:

Меня везут в здание бывшей фабрики на окраине Таллина.-7

Информация — это деньги, а в данном случае информация и есть деньги. И присматривать за ними нужно 24/7:

Меня везут в здание бывшей фабрики на окраине Таллина.-8

Всего на тот момент на ферме было запущено более тысячи видеокарт, промывавших в поисках ценных монеток более 20 гигахеш в секунду.

Меня везут в здание бывшей фабрики на окраине Таллина.-9

А по соседству уже готовилось новоселье во второе такое же помещение: тогда там ещё стояли только пустые стеллажи с десятками подключённых розеток.

Меня везут в здание бывшей фабрики на окраине Таллина.-10

Но и этим майнеры ограничиваться не собирались, планируя уже открытие ещё одного дата-центра на 50 ГХ на одной из эстонских гидроэлектростанций. На какой — тоже тайна, но дата-центр на ГЭС — это звучит круто.

Возможно, эта ГЭС выглядит как-то так. Но скорее всего нет, потому что на фото даже не Эстония
Возможно, эта ГЭС выглядит как-то так. Но скорее всего нет, потому что на фото даже не Эстония

Суммарная производительность обоих дата-центров должна была превысить 100 ГХ/сек.

Не эфиром единым

Преимущество майнинга на GPU — возможность добывать любую валюту, каким бы хитровыделанным алгоритмом майнинга она не обладала, поэтому часть этих мощностей майнеры выделили ещё и на эксперименты с новыми перспективными и просто любопытными валютами вроде дашкоина и других.