Кухня ИТ-архитектора

Если проработать в дата-инженерии хотя бы несколько лет, рано или поздно попадёшь в спор «ETL или ELT» — обычно на созвоне, где половина участников использует эти слова, не до конца понимая разницу, а вторая половина уже устала объяснять. Хочу разложить это по полочкам без снобизма в духе «ELT — это будущее, ETL — для динозавров». Оба подхода живы, оба решают разные задачи, и выбор между ними — это не вопрос моды, а вопрос того, где именно вы готовы платить: временем разработки, деньгами на инфраструктуру или гибкостью в будущем...

В дипломе у меня написано «автомеханик». Ни строчки про программирование, базы данных или архитектуру систем. При этом последние восемь лет я — архитектор в ИТ, до этого — десять лет в ИТ на разных ролях. Итого 18 лет в индустрии, где по бумаге я вообще не должен был оказаться. Периодически меня спрашивают: «А как ты вообще пришёл в архитектуру без профильного образования?» Обычно это звучит с лёгким недоверием, будто должен быть один правильный ответ — «поступил, отучился, попал по распределению»...

Покупка железа часто начинается одинаково: человек открывает обзоры, смотрит на громкие цифры, сравнивает модели и в итоге выбирает то, что выглядит “сильнее”. Проблема в том, что в реальной работе цифры на коробке не всегда означают удобство, скорость или пользу. Именно поэтому переплаты в технике случаются так часто. Когда я подбираю железо, я всегда начинаю не с бренда и не с маркетинга, а с задачи. Потому что одно дело — офисная работа, другое — тесты, третье — локальный ИИ, а четвертое — сервер или рабочая станция...

Когда человек впервые начинает работать с ИИ, облако обычно кажется самым удобным вариантом. Не нужно ничего ставить, не нужно разбираться с драйверами, не нужно покупать железо. Все запускается быстро и почти без боли. Но если смотреть не на старт, а на регулярную работу, картина меняется. Облачный сервис хорош до тех пор, пока нагрузка небольшая. Как только запросов становится больше, начинают расти расходы. Появляются подписки, ограничения, лимиты, зависимость от внешнего сервиса и вопросы к конфиденциальности данных...

Многие уверены, что локальный ИИ начинает работать быстро сразу после покупки дорогой видеокарты. Логика кажется простой: больше мощности — выше скорость. Но на практике все устроено заметно сложнее. И очень часто пользователь разочаровывается не потому, что железо слабое, а потому, что система собрана без учета реальной нагрузки. Когда речь идет о локальных моделях, важна не только видеокарта. Имеет значение весь стек: модель, квантизация, длина контекста, объем оперативной памяти, скорость накопителя, драйверы и даже то, как именно запущено окружение...