Как устроен дата-центр, что помогает ему функционировать продуктивно и какие меры предосторожности помогают молниеносно реагировать на чрезвычайные ситуации? Именно этим вопросам мы посвятили второе интервью с Максимом Гуреевым, экспертом компании BitCluster. Прочесть первую часть можно здесь.
Как на практике работает дата-центр?
Первое, что нужно знать о ЦОД, чтобы организовать его работу, — это мощности и количество майнинг-машин. Если смотреть на российские дата-центры, то какие это в среднем цифры?
Все зависит от того, какая мощность выдается на старте. В Иркутске, например, максимальная мощность, которую может забрать себе дата-центр, это 100 МВт. Все, больше нельзя. А дальше математика: если 1 Мв расходуют около 300 машин, то 100 МВт — это 30 тыс машин. Установил их, и больше площадка не вытянет. Но редко получается такие мощности получить. Так что, среднестатистическая площадка по России — до 50 МВт.
Если площадь будущего дата-центра большая, то можно построить десять ангаров: разместить в каждом по три тысячи машин, расставить их по полкам так, чтобы не перегревались, на каждый ангар выделить технического специалиста, поставить несколько пунктов охраны и так далее. Если с площадью не разгуляться, то можно установить десять контейнеров и заполнить уже их оборудованием. Площадь потребуется небольшая, а влезут те же самые тридцать тысяч.
Допустим, тип площадки и мощности определены. Как к устройствам будет поступать электричество? Какие варианты для организации бесперебойного питания?
Классический ЦОД действительно работает бесперебойно. Для этого необходимо обеспечить электроснабжение от трех независимых источников, которые будут заменять один другого без задержек даже при полной загрузке.
К сожалению, для майнинговых дата-центров так никто не делает и, думаю, никогда не будет делать. Даже в качественных хостингах все работает от одной подстанции. Соответственно, все равно будет простой в случае аварии или техобслуживания.
Почему невозможно организовать бесперебойное питание, как в случае с классическим ЦОД?
Есть несколько факторов, которые делают это невозможным, по крайней мере в промышленных масштабах.
Во-первых, поставщик самого электричества. Если у него идут технические работы, хостинг не может получить электричество, а это около 4-5 часов в месяц.
Во-вторых, интернет-провайдеры. Иркутская область далеко от центра страны, поэтому даже у федеральных компаний бывают сильные сбои, и в любом случае в одиночку они зачастую не могут обеспечить бесперебойную работу. И даже когда подключается местный провайдер, это не позволяет работать 100% времени.
Работая круглыми сутками, с аптаймом около 97%, майнеры перегреваются. И это большая проблема для многих площадок. Как организовывается охлаждение?
К счастью, по вопросам охлаждения процессы уже отстроились, ведь заниматься ими начали примерно с 2018 года. Один из популярных вариантов — контейнеры с горячим коридором. Если же речь идет об ангарах, то ставятся огромные вентиляторы, которые забирают горячий воздух и выводят его на улицу.
Сегодня много говорят про альтернативные варианты: гидро- или иммерсионное охлаждение. Что об этом скажете?
Иммерсионное охлаждение — это, конечно, очень классная технология, но для хостингов это пока неэффективно. Специальные ванны требуют много места. Ванна занимает целую полку, которую можно отдать сразу десяти майнерам.
По поводу гидроохлаждения я тоже не слишком оптимистичен. Да, Bitmain сейчас активно продвигает майнеры с гидроохлаждением. Существуют даже полноценные системы контейнеров с этой технологией. Тем не менее я пока слабо представляю, как это будет работать в именно России.
Естественно, в случае с частными лицами история другая. Им выгодно использовать те же иммерсионные ванны: взял небольшое помещение, куда можно подвести 40 кВ, и поставил три ванны с майнерами. Тогда оборудование работает бесшумно и не нагреваясь.
Как реагируют на чрезвычайные ситуации в дата-центре?
Получается, дата-центр можно запускать, когда продуманы все территориальные нюансы, поставка электроэнергии и система охлаждения. А что происходит, когда в эту работу вмешиваются чрезвычайные ситуации? Какие они бывают?
Самые классические — это кражи. Попыток ограбления крупных дата-центров не было, ведь когда видишь камеры и людей с оружием, желания грабить такое место не возникает. Другое дело — частные площадки, когда в поле стоит пара контейнеров под охраной дедушки-пенсионера. О таких случаях я наслышан.
Вторая популярная чрезвычайная ситуация — пожары. Они происходят как раз на больших площадках, но очень быстро нейтрализуются. Как правило такие ситуации происходят из-за перенапряжения, в результате чего замыкается блок питания и происходит непосредственно возгорание.
Как в таком случае устроена система реагирования на пожароопасные ситуации?
На самом деле, пожары в дата-центрах — не слишком частая история, но естественно она тщательно продумывается. Ставятся пожаротушители для самостоятельного реагирования и кнопка сигнализации для внешней службы пожарной безопасности: если сотрудник замечает возгорание, то нажимает на кнопку — и приезжает пожарная бригада.
Раньше, например, были сотни датчиков, которые подключались тысячами проводов. Сейчас это один маленький датчик на стене, который отвечает за все пространство. По сути, не ангар, а умный дом.
И конечно на площадках есть электрики 1-4 разрядов, которые отвечают за пожарную безопасность. При найме на работу сотрудник обучается, проходит тесты, по их результатам допускается к работе, получает ментора, проходит стажировку и только после этого начинает работать самостоятельно.
Вы не упомянули о кибератаках в контексте ЧП. Это непопулярная ситуация?
Наверное, могла бы быть популярной, но есть много сложностей. Расскажу на примере нашего хостинга. Устанавливаются собственные серверы, защита, программное обеспечение, через которое мы контролируем каждое устройство на площадке. Мы видим любое нарушение или изменение в работе майнеров. Даже если какой-то техспециалист решил подзаработать и поменял настройку на майнере, это будет обнаружено в тот же момент.
Почему тогда в криптосообществе часто всплывает вопрос безопасности валюты?
Речь идет о безопасности валюты, которая уже добыта. Кибератаки действительно совершаются на физические кошельки клиентов. Когда взламываешь майнинг-устройство, нужно следить за ним, удерживать контроль. В случае с криптокошельком можно зайти, увидеть все транзакции, увидеть доступную сумму, вывести необходимое — и все.
На этом фронте мы тоже защищены, конечно. Мы не предоставляем клиентам доступы через VPN, чтобы они сами мониторили устройства. Понимаем, что через такое подключение можно сделать многое: увидеть не только свои майнеры, но и залезть на чужие. Мы работаем исключительно через свои программы.
Важно отметить, что говоря об организации территории, помещения и защиты данных, я имею в виду только крупные качественные площадки. На мой взгляд, таких в стране около пятнадцати, и принадлежат они восьми хостингам.
Как открыть дата-центр и что ждет Россию как площадку для майнинга?
Вы рассказали довольно много о том, как устроен дата-центр. Теперь стало интересно: сколько стоит его открыть?
Возьмем усредненную площадку на 50 МВт. На 2023 год открыть ее обойдется в ₽1 млрд ($12 млн); на 2018 год это было бы порядка ₽300 млн ($3,6 млн). Это в том случае, если мы берем в расчет затраты на персонал и офисы.
Цифра немаленькая, а любое коммерческое предприятие запускается в том числе для материальной выгоды. Как быстро окупается дата-центр?
Дата-центр на 50 МВт — это в среднем 15 тыс устройств. Если вы зарабатываете на хостинге хотя бы рубль, то срок окупаемости составит 26 месяцев без учета текущих затрат, а это порядка 3 лет при учете того, что условия одинаковые. А поскольку мы знаем, что рынок криптовалюты крайне нестабилен, то срок увеличивается. Сейчас, на подъеме, мы имеем право поднимать цены на 20 копеек и зарабатывать: мы видим, что цены и спрос растут, наши площадки забиты под завязку. Как только пойдет спад и клиенты начнут искать хостинги дешевле, мы начнем снижать цены.
Так что, один миллиард я бы рассчитывал на пять лет, в лучшем случае.
Поскольку мы говорим про российские дата-центры, то есть еще один вопрос. Говорят, в Штатах принято постоянно вкладываться в собственные мощности, а вот в России — открывать собственные площадки при первой возможности. Согласны?
Хотеть не значит сделать.
Я в целом замечаю такую тенденцию, это правда. Почему? Потому что многим кажется, что это совсем несложно. Нашел площадку, поставил два контейнера, зарабатываешь ₽150 тыс в месяц и радуешься. А по факту у нас почти не осталось маленьких отельчиков: все давно закрылись, потому что работать стало невыгодно. Тем, кто их когда-то открыл, легче перевести устройства к нам, накинуть маржинальность в 20 копеек и зарабатывать те же деньги, при этом не неся ответственность за оборудование и общение с клиентом.
И хочется напоследок спросить, каким вы видите будущее России в секторе добычи криптовалюты?
Россия сегодня — это один из лидеров именно по хостингам. К нам поступает много запросов от китайских, европейских, американских майнеров. Сегодня в этих странах условия для добычи криптовалюты не самые удачные, действительно выгоднее привезти оборудование сюда.
Вдобавок, на российском рынке все неплохо организовано в плане общения клиентом. Логистика, установка, личное ПО, где клиент видит местонахождение устройств и их работу, техподдержка. У нас все эти процессы налажены.
Главное, чтобы все хостинги держали уровень. Из-за непорядочных площадок, которые позволяют себе забрать оборудование клиента, а потом не отвечать на телефон, сильно падает репутация всего региона.
И очень хотелось бы, чтобы в России принимались новые актуальные законы по поводу криптовалюты. Она сейчас довольно популярна и для бизнеса, и для сообщества: хостинги строят площадки, дают рабочие места в регионах, улучшают инфраструктуру, платят огромные НДС и используют, постоянно увеличивая, мощности, с которыми в нашей стране проблем нет. При всем этом, хочется, чтобы не было налогов под 50%, зато была возможности расти и строить площадки не за ₽1 млрд с окупаемостью в пять лет.
