В первой, второй и третьей частях концепции мы начали разговор о целесообразности создания ЦОДов в северных регионах и их интеграции с установками по утилизации ПНГ в комплексные цифропроводные экосистемы. Затем мы говорили непосредственно об объектах ЦОД-индустрии. В завершение обсудим общие вопросы функционирования цифровых экосистем.
8. Концептуальные подходы к строительству цифропроводов.
Как мы отметили в кратком варианте концепции, последняя 4-я часть экологической составляющей заключается в строительстве сети цифропроводов по России без существенных экологических и капитальных затрат. Основная идея сводится к простой задаче системного планирования, т.е. при строительстве естественно востребованных трасс и маршрутов иных линейных систем – обязательно учитывать и проектировать трассы для цифропроводов. В данном случае надо сразу зафиксировать, что под ЦИФРОПРОВОДОМ понимается любой способ коммуникации внутри цифровой сети, как посредством кабельных, проводных трасс, так и посредством беспроводных или спутниковых технологий цифровой связи. Главное условие отнесения канала связи к цифропроводной системе – это участие в передаче, хранении и обработке цифровых данных, то есть непосредственное обеспечение связи клиентов с их удаленными серверами, в т.ч. в наших удаленных серверных ЦОДах. А также – вся инфраструктура, обеспечивающая работоспособность и защиту цифропроводной сети.
Такую технологию можно назвать Технологией «транспортно-цифрового симбиоза» поскольку строительство отдельных трасс для цифропроводов допустимо, но не целесообразно. Здесь надо учитывать, что стратегически Россия проигрывает сегодня многим северным странам Европа и Канаде, поскольку там есть все логистические преимущества использования северных территорий: близость потребителей, наличие готовой цифровой инфраструктуры, возможность привлечения персонала без потери социальных удобств и наличие резервных мощностей. Для того, чтобы составить реальную конкуренцию по предоставлению услуг ЦОД-индустрии на севере России, надо решать оптимизационные транспортные задачи 3-х потоков: потоки трубопроводов ПНГ, трассы электросетей, как основных, так и вспомогательных и, наконец, трассы непосредственно цифропроводов. Логика подсказывает, что оптимально эту транспортную задачу стоит решать в рамках уже сложившихся коридоров линейной инфраструктуры. Сюда могут относится:
1. Система электрических сетей России (см. Рис.25). Надо сразу отметить, что прокладка вдоль линий трасс электросетей имеет и свои преимущества, и свои недостатки. Это связано как, с одной стороны, легкость и дешевизной проведения работ, так и с другой – безопасностью проведения работ в зоне действующих ЛЭП, а также с взаимным влиянием магнитных полей. Но если эти задачи решать в рамках нового строительства ЛЭП или реконструкции существующих, то стоит сразу заложить финансирование, например, в рамках государственной программы «Цифровая экономика», на создание трассовых потоков цифропроводной сети (Cyber-NET). Здесь же стоит продумать и использование кустов альтернативной энергетики к задачам цифропроводных сетей на севере. Использование альтернативной энергетики (солнце в условиях севера или «ветряки» в приморских северных регионах) позволит создать не только резервные мощности на случай перебоев с подачей ПНГ, но и на случай скачков в сетях стационарных электросетей, а также просто для снижения затрат. Ведь, как известно, любая альтернативная энергетика экономически эффективна в близлежащих районах, подключение и трансформации к общим сетям делает большею часть альтернативной энергетики неэффективной.
2. Система нефтепроводов и газопроводов (см. Рис.26). Здесь ситуация намного проще, поскольку прокладка линий ВОЛС часто предусмотрена проектами строительства магистральных нефтепроводов, газопроводов и иных продуктопроводов в обязательном порядке. Это говорит о том, что возможно быстрое создание цифропроводной сети и на действующих магистральных трубопроводах, и на проектируемых, без особого ущерба для экономики проекта (только приобретение и укладка дополнительных кабелей), и на ремонтируемых. А если учесть, что по этим транспортным коридорам стоят и сами потребители услуг ЦОД-индустрии, то задача становится и функционально обоснованной.
3. Автодорожная сеть России (см. Рис.27). Система автомобильных дорог России вдвойне привлекательна для развития цифропроводной сети, поскольку сама требует и большого объема информационных услуг, и сама может поддерживать ресурсообеспечение этой сети в силу необходимости обеспечения бесперебойного функционирования оснастки и оборудования самих автомобильных дорог. Иными словами, проектирование и строительство в системе электропитания магистральных автотрасс каналов для цифропроводных сетей также позволит решить несколько проблем: снижение капитальных затрат на сети и снижение капитальных затрат на их энергообеспечение и защиту. Одним их оптимизационных решений для снижения издержек на электроснабжение автодорог, особенно в удаленных безлюдных территориях, является создание т.н. «линейного сервиса» альтернативной энергетики. Как уже было отмечено, вести линии электропередач в удаленные районы только ради работы освещения некоторых участков и системы сигнализации – дорогое удовольствие. Создание локальных кусов альтернативной энергетики (солнечной, ветряной или иной), позволит обеспечить целые участки дорог более дешевым электропитанием. Даже стоящий отдельный ветряк на 1-1,5 МВт с системой накопителей способен обеспечить снабжение электропитанием участка автотрассы. А значит, это серьёзно упрощает и прокладку на этих участках цифропроводной сети.
4. Железнодорожная сеть России (см. Рис.28). Железные дороги, по аналогии одновременно и с трубопроводным транспортом, и с электрическими сетями, имеют ряд преимуществ и недостатков для развития цифропроводной сети. Здесь уже в проектах закладываются трассы специальных линий связи, но работы можно вести только в периоды прекращения эксплуатации самих дорог, то есть «транспортный симбиоз» будет растянут во времени.
9. ЦОД-индустрия и Информационная безопасность ЦЭР.
К представленным выше вариантам отраслевых транспортных коридоров для развития цифропроводной сети можно еще добавить и пути водного транспорта, т.е. прокладку кабельных и иных коммуникационных трасс вдоль уже сложившейся инфраструктуры речного транспорта, особенно когда идет речь об обмене данными от северных ЦОД. Но очень важно обратить внимание на рис.28 в части развития железных дорог вдоль северного морского пути (см. зеленые галочки). Здесь надо сразу закладывать прокладку сетей для трансрегиональной цифровой экосистемы России.
Очевидно, что эффективность внедрения ЦЭР опирается именно на логистическую сеть цифропроводной системы, поскольку можно построить ЦОДы, можно собрать «молочные фермы» на ПНГ, можно, наконец, обеспечить социальной инфраструктурой жилые поселки операторов таких ЦЭР-комплексов, но всё это не будет работать без связи клиента и поставщика ЦОД-услуг. Отсюда можно сделать простой вывод, что вся ЦОД-индустрия, в общем случае, относится к самостоятельным инфраструктурным отраслям, развитие которой возможно только на условиях серьезной партнерской поддержки бизнеса государством. Иными словами, ни один из участников этой сети в целом создать такой бизнес не сможет, потребуется невероятное объединение или нескольких игроков в серьёзную девелоперскую структуру ЦОД-индустрии, либо привлечение крупных ФПГ в виде Госкорпораций для инициативного создания первичной сети в рамках государственной программу «Цифровая экономика» с соответствующими планами и бюджетами.
Безусловно, нет задачи настаивать на том, что российская ЦОД-индустрия должна развиваться исключительно на месторождениях со свободным ПНГ. Это «зеленая версия» считается наиболее перспективной, поскольку предполагает системную синергию всех элементов экологического менеджмента. Включая и решение задач устойчивого развития. В общем случае ЦОД-индустрия, конечно, не будет ограничиваться ПНГ-фактором, а, скорее всего, станет многокомпонентной. Мы можем предполагать, что вся ЦОД-индустрия будет многокластерной, т.е. включать ЦОД на базе ПНГ, ЦОД на базе ГЭС, в т.ч. уникальных альтернативных источниках (приливы и отливы, геотермальные источники, миниГЭС на горных реках севера). Имеет смысл уделить особое внимание строительству ЦОД в горах южных регионов России, поскольку там присутствует и возможность получать круглогодично холодный воздух, как на севере, и дешевую электроэнергию солнца и ветра, или от миниГЭС на горных речках. Так или иначе, рынок ЦОД-индустрии будет расти и развиваться (см. Рис.29).
Однако, концентрируясь на вопросах развития ЦОД-индустрии, волей-неволей приходится волноваться о финансовых реалиях развертывания и поддержания потоков обмена данными по России, а также их связь с аналогичными сервисами по всему миру. Иногда недостаточно просто построить ЦОД, вы должны найти команду исполнителей и эксплуатационников с нужными навыками и сделать это по адекватной стоимости. Будущая эксплуатация ЦОД – это до сих пор не оцененный релевантно вопрос, поскольку сама по себе сервисная часть индустрии ЦОД находится в состоянии перманентного развития и постоянной трансформации. При достаточно низких CAPEX-элементов ЦОД (без IT-оборудования), создается ошибочное представление, что это интересный сектор для индустриального девелопмента с использованием КЖЦ. Но потом оператор сталкивается с реальными затратами на эксплуатацию и владение, и бизнес уже не кажется таким уже эффективным: есть обслуживание генераторов, систем охлаждения, BMS (Building management system – система управления зданием), PMS (Power management system – система управления энергией) — и все это требует специалистов, которые должны откуда-то прибыть на место и обеспечить заданные эксплуатационные характеристики. Ах да, и все это должно быть экономически оправданным и эффективным, поскольку рынок открытого тарифа(тариф рынка нового товара, формируемый аддитивным образом «снизу-вверх» без конкурентной среды) будет недолгим. Конкуренция уже усиливается, и она будет не только снижать стоимость услуг ЦОД-парков, но и снижать пожелания владельцев информации на уменьшение её объёма (см. Рис.30).
Следующий вопрос – это доступ к общим цифропроводным сетям, которые ЦЭР хотела бы предоставить своим IT-клиентам. Избыточные или перегруженные каналы связи с множеством провайдеров и волоконных линий, которые нужно поддерживать, чем дальше вы тянете связь, там она дороже, потому что вам нужно, чтобы провайдер прокопал траншею до вашего ЦОД и уложил в нее оптоволоконный кабель. Возьмем, например, сеть ЦОДов в российской Арктике. Основная масса российских клиентов (да и зарубежных) находится далеко от этой территории, точнее говоря – в европейской и юго-западной части России и ЕврАзЭС. Как лучше окупить затраты на строительство линий связи в рамках развития ЦЭР как единой отраслевой группировки участников? Кроме того, некоторые приложения требуют коммуникации в реальном времени, что ограничивает дистанцию, на которой ЦОД может физически находиться от наших клиентов. Не говорит ли это о том, что надо заранее рассчитывать и создавать сеть промежуточных станций коммуникации и «виртуальных» ЦОД?
Реализация таких комплексных задач должна быть комплексной, например, нефтегазовые компании отвечают за блок добычи и поставки ПНГ, подготовки его к использованию в энергогенерации. Энергетические компании отвечают за производство и поставку электроэнергии, включая резервные мощности и подсети. Цифровые игроки отвечают за строительство ЦОД и соответствующей инфраструктуры обеспечения. А Минкомсвязи (Минцифра) отвечает за строительство государственных цифропроводов по аналогии с дорожной сетью. Часть из них можно отдать по договорам КЖЦ на условиях ГЧП провайдерам и специализированным предприятиям сетей связи. Желательно, чтобы все участники объединялись заранее в единое Совместное предприятие – собственно оператора услуг ЦОД, который в своем тарифе учитывает издержки всех партнеров и устанавливает правила распределения прибыли. Именно этот дистрибьютор услуг заключает договор с оператором ЕИП, обеспечивающим полнофункциональное сопровождение деятельности ЦЭР, контрольные функции, мониторинг изменений и управление проектами новаций в процессе эксплуатации.
Разумеется, всякий раз, когда будет планироваться новый ЦОД, необходимо провести анализ общей стоимости владения и эксплуатации объекта с учетом стоимости подключения к сетям ЦЭР. Здесь должна быть выстроена стройная система, при которой любой IT-ЦОД-девелопер сможет и самостоятельно построить его где угодно. Но общая стоимость услуг и конкуренция с всеми участниками ЦЭР должна привести к мысли, что лучше работать в единой сети, чем строить частно-локальный ЦОД со всей инфраструктурой. Стоимость сетей – важнейшая часть такого проекта. Это требует модели с избыточным количеством возможностей соединения, что снижает ваши возможности для экономии. Но тенденция, которую мы видим – это постоянный рост требований к мощностям. Высоконагруженные вычисления, мета-данные, алгоритмические вычисления моделей поведения пользователей – спрос на них постоянно растет, и эти приложения должны будут спокойно обрабатываются в любом из ЦОД всей ЦЭР. Здесь выстраиваются отношения похожие или на гостиничную сеть, в которой все известно и ожидаемо, но ниже цены, чем в отдельном отеле. Либо как с банковской сетью крупного банка, когда вы можете заключить договор с одним отделением на ячейку, а потом перевести в другое, если там идет ремонт, или отделение просто закрылось.
Наконец, важнейшее умозаключение, которое трудно квалифицировать в терминах производительности или экономических затрат, это роль социально-психологического восприятия ЦОД-индустрии в обществе и в бизнесе. Несмотря на то, что ЦОД-индустрия планомерно создает и призывает постоянно придерживаться своих операционных стандартов, граждане и компании больше всего беспокоятся именно о защите своих данных. Люди очень чувствительны к тому, где хранится их информация, даже при том, что в России предлагается тот же самый уровень защиты, как и во всей остальной Европе, а может быть и лучше. Причина таких страхов кроется в том, что поколение, принимающее сейчас бизнес-решения, раньше много работало в устаревших системах и отношениях безопасности, которые на сегодня просто потеряли актуальность. Это происходит по нескольким причинам, во-первых, появилась другая мобильность, сейчас все данные должны быть в любом месте в любое время, не обязательно держать их в офисе, где парни из ИТ-отдела могут прийти и потрогать их. Во-вторых, облачные сервисы и вычисления, виртуальные ЦОДы и сети (см. Рис.31). Все клиенты вправе ожидать и желать того, что, поместив что-либо в облако, они получат максимально эффективную среду для работы с гарантированным уровнем безопасности. При этом, неважно, где клиенты и ЦОДы находятся физически, все серверы будут исправно функционировать.
Возвращаясь к основной идее концепции ЦЭР, нет какой-либо особой причины, чтобы не строить каждый новый ЦОД в горах, Арктике или просто ближе к северным регионам России. Однако с точки зрения бизнеса необходимо тщательно исследовать сценарии использования ЦОДов, расположенных там. Это не может быть просто решением «здорово, давайте строить здесь, тут ведь бесплатное охлаждение». Передача данных, строительство инфраструктуры и поддержка ЦОД – все это стоит денег. Если ваши технологические потребности, клиентская база и требования к найму персонала позволяют решить эти проблемы безболезненно, то у нас есть еще один повод для возврата на север. Хотя работа далеко за полярным кругом — мало реалистичный сценарий для большинства решений, так как стоимость увлажнения воздуха плюс необходимость отправлять туда работников вахтовым методом убивает экономическую эффективность. Впрочем, если государственные потребности в ЦОД станут костяком для развития ЦЭР, то все аддитивные бизнес-решения станут основанием для развития отрасли в целом, это приведет к тому, что ЦОДы в России будут встречаться чаще супермаркетов, можно ожидать, что новые технологические решения снизят стоимость заполярных дата-центров в обозримом будущем.
Вопрос обеспечения безопасности ЦОД остается открытым и с точки зрения обоснования инвестиций, поскольку стоимость обеспечения безопасности входит и в CAPEX и в OPEX, а размеры затрат зависят от состава оборудования. Обеспечение информационной безопасности в ЦОД – это сложная и комплексная задача, решение которой напрямую зависит от типа ЦОД. Основные факторы безопасности сетей ЦЭР и ЦОД можно описать следующими тезисами:
1. Критичность систем, размещаемых в ЦОД. К защите ЦОД нужно подходить взвешенно, искать баланс между безопасностью и работоспособностью. Нередко специалисты ЦОД вообще отказываются от проведения мероприятий по защите, чтобы случайно не заблокировать работу отдельных систем или дата-центра в целом. Вместе с тем, есть и повышенные требования к таким показателям работы инфраструктуры, как пропускная способность каналов, объемы хранимых и обрабатываемых данных, время отклика, время простоя. Система информационной безопасности в дата-центре имеет право на существование только тогда, когда она не ухудшает требуемые показатели работы систем, а поскольку технологии защиты развиваются следом за IТ, они не всегда могут выдержать требуемые нормы.
2. Виртуализация сетей и ЦОД. Она тоже привнесла довольно широкий перечень угроз. И, несмотря на то, что виртуальные инфраструктуры повсеместно внедряются уже много лет, до сих пор существующие средства защиты не удовлетворяют всем потребностям в области безопасности (см. Рис.32). Отсюда появляется ухудшение и/или потеря управляемости компонентами систем, размещенных в ЦОД и инфраструктуре. Необходимо понимать, что потеря управляемости – общий риск для всех. В случае применения технических средств провайдера для защиты собственных сервисов у компании есть только формальный интерфейс к запросу стандартных конфигураций. Так, теряется гибкость в части разработки политик защиты и снижается оперативность реагирования ИБ.
3. Конфликт интересов систем ЦОД. Обычно в ЦОД пересекаются зоны ответственности как инфраструктурного (сеть, инженерия, оборудование, серверы, среда виртуализации, БД), так и прикладного уровня, на каждом из которых есть свои риски. При этом связующим элементом выступает служба ИБ, которая отвечает, как за базовые мероприятия на уровне инфраструктуры, так и за качественный консалтинг при разработке приложений. Она же занимается контролем соблюдения политик безопасности на всех уровнях и проводит расследования инцидентов, по результатам которых становится понятно, в чьей зоне ответственности произошло нарушение или существует уязвимость. Организации имеют разные приоритеты в области ИБ: у них разные сервисы и типы данных, разные обязательства перед клиентами и партнерами, доверившими им свои данные, разные требования со стороны законодательства и регуляторов. Даже в очень крупных категориях ИБ могут быть огромные различия. Для кого-то доступность данных – это основное требование, а сами данные обезличены и конфиденциальной информации в них нет или она находится в другом месте. Для других компаний обеспечение конфиденциальности, контроль доступа – это основной фокус (см. Рис.33).
Бесспорно, за информацию как ценный актив бизнеса всегда должен отвечать его владелец. Только он понимает важность данных, может определить порядок их использования, сформировать требования по обеспечению их целостности, конфиденциальности и доступности.
Владелец может поручить заботу о сохранности информации другим лицам внутри или вне своей организации, определив круг их обязанностей и обозначив свой контроль за их деятельностью. Поэтому с точки зрения ИБ при выборе ЦОД должна быть предусмотрена возможность делегировать владельцу ЦОД риски ИБ, связанные с действиями его сотрудников, и репутацией. Рекомендую обратить внимание на возможность использования имеющихся в ЦОД инфраструктурных средств защиты, включая сертифицированные, а также наличие средств гибкой настройки их политик. В любом случае, провайдер услуг ЦОД должен показать модель угроз как у себя применительно ко всей инфраструктуре ЦОД, так и у заказчика – применительно к его мощностям, ресурсам и информационным системам, размещаемым в дата-центре. Причем модель угроз клиента должна учитывать модель угроз провайдера и базироваться на ней.
10. Выводы и Рекомендации.
В заключение хочется отметить, что в рамках предлагаемой концепции были представлены далеко не все тонкости и аспекты, обосновывающие целесообразность создания единой цифропроводной экосистемы России (ЦЭР). Более того, учтены далеко не все возможно иные сценарии, иные участники и иные технологии, используемые в ЦЭР. Основная цель данного форпроекта Концепции заключается в обозначении проблемы и примерной планирования механизма её решения. Дальнейшая работа по развитию концепции предполагает более детальную разработку и научное обоснование механизмов реализации данной инициативы на основе экспертного диалога, как заинтересованных бизнес-участников, пассивных стейкхолдеров и государственных институтов. Особенный интерес данная Концепция представляет для глав северных нефтедобывающих регионов России, где возможно создание параллельного источника трудоустройства и развития региона на основе ЦОД-индустрии. Особенно это касается реальной возможности развития экспортных услуг в области цифровизации.
Создание Единого Информационного Пространства ЦЭР (ЕИП) позволит всем пользователям цифровых услуг быть абсолютно спокойными в части оценки рисков развития своего бизнеса и защиты личных или бизнес данных. С другой стороны, развитие ЦЭР – это небольшая, но возможность дать населению, проживающему в северных регионах, еще одну возможность трудоустройства и применения себя с пользой для региона. Работа ЦОД-индустрии требует весьма высококвалифицированных специалистов, а значит, в регионы придут не только инвестиции, но и зарплаты. А вслед за ними придет и социально-бытовой сервис.
В соответствии с заданной целью проекта Концепции создания ЦЭР должны решаться эти и подобные задачи:
1. Инвестиционно-статистическое обоснование экономической подкатегории «ЦОД-индустрия», «экологические аспекты цифровизации» и его основных факторов, в целях последующего использования в теории и практике цифрового развития современной России.
2. Комплексный ситуационный анализ современного уровня развития цифровых технологий передачи данных, на основе которого внести изменения в планы и программы развития цифровой экономики в России. Ключевым аспектом этих планов и программ должно стать именно соответствие требованиям т.н. «зеленых стандартов», стандартов устойчивого развития территорий и стандартов национальной кибербезопасности.
Предлагаемая концепция создания ЦЭР не носит догматического характера, предлагает далеко не окончательный формат экологически комфортных сетей цифровизации, который может быть уточнен и перенесен на иные отрасли, кластеры, регионы, промышленные или хозяйственные комплексы с присущей им спецификой и условиями. Но мы полагаем, что создание такой эколого-ориентированной идеологии цифрового развития России и её апробирование на пилотных проектах у нефтяников или газовиков (ПНГ-ЦОД-кластер) потребует привлечения полномочий многих министерств и ведомств, а значит, и управления со стороны руководства страны высшего уровня. Для создания такой идеологии потребуется помощь и содействие государства, госкорпораций и крупных финансово-промышленных групп в таких вопросах как:
1. Экспертное изучение опыта и объединение лучших мировых практик и компетенций в области разработки и создания эко-ориентированных цифровых пространств.
2. Создание контрактных моделей и обеспеченных гарантиями инструментов финансирования таких проектов, в т.ч. за счет специальных венчурных фондов и грантов, предназначенных для развития цифровизации.
3. Создание в Минкомсвязи оператора единого информационного пространства с ЦОД-ГИС по реализации проектов создания ЦЭР с развёрнутой муниципальной или территориальной ресурсной базой и инженерной инфраструктурой межотраслевой поддержки.
Спасибо за внимание. 2019 год.