Habr.com

Как методичка из 1990-х объясняет устройство современных нейросетей В старой методичке по линейной алгебре, посреди упражнений, есть фраза про химию. Молекула воды это вектор (2, 0, 1), молекула метана вектор (4, 1, 0). И дальше автор методички как ни в чём не бывало переходит к линейной зависимости векторов, будто записать вещество тремя числами самое обычное дело. Сначала это выглядит как учебная вольность ради задачки. Но полчаса с карандашом над этой строчкой приводят к другой мысли. Методичка девяностых, задолго до всякого хайпа, случайно описала ровно тот приём, на котором сегодня стоят и предсказание структуры белка, и языковые модели. Тогда у него просто не было модного названия.

Кремний взломал кремний: снять блокировку вручную не вышло, и за дело взялась нейросеть, запущенная на тех же картах Домашний сервер собирается из бывших майнинговых карт NVIDIA CMP 90HX ради локальных языковых моделей дома, без аренды чужого железа и счётчика токенов. По пути со всех карт снимаются вычислительные ограничения, на платах допаиваются недостающие конденсаторы ради полного PCIe x16, и всё упирается в последнюю стену. Карта намертво держит старый Gen1 на 2.5 GT/s и не поддаётся ни готовым утилитам, ни ручной правке регистров. Несколько часов подряд одно и то же значение. Тогда задачу получает локальный агент, запущенный на этих же картах. Складывается ситуация, от которой у маркетологов NVIDIA дёрнулся бы глаз. Четыре карты NVIDIA запускают модель, снимающую ограничение NVIDIA с пятой карты NVIDIA. На возню с драйвером, регистрами и бесконечной пересборкой модулей закладывается несколько суток. Выясним, сколько ушло на самом деле.

Как засунуть Protobuf в CEL и выиграть (или проиграть): опыт MWS Cloud Platform Представьте поток событий k8s, которые сыплются в микросервис без остановки, и каждое надо прогнать через валидацию на CEL. И тут же выясняется неприятное. Чтобы движок проверил жалкие два-три поля, компактный Protobuf распаковывается целиком, память улетает под всё дерево объектов ради пары значений. Большая часть распакованных данных интерпретатору просто не нужна. Раз так, почему бы не отдать CEL сырые байты и не научить его выдёргивать поля лениво, ровно в момент обращения. Команда MWS Cloud Platform залезла во внутренности обоих форматов, собрала ленивый парсер и запустила бенчмарки. На тяжёлых манифестах аллокации памяти рухнули в 15-20 раз. Мечта. А потом этот код взяли и выкинули... Узнаем, что заставило отказаться от решения с идеальными цифрами.

Локальный ИИ класса Opus 4.6 «задёшево»: две Tesla P100, 28-поточный Xeon и тесты на реальных задачах Автор статьи собрал дома открытый стенд под локальные модели. Две Tesla P100, которые сейчас продаются по 4-9 тысяч рублей за штуку, дают вместе 32 ГБ видеопамяти. Плюс Xeon E5-2680 v4 на 28 потоков, 64 ГБ памяти и киловаттный блок. В простое машина ест 135 Вт, под нагрузкой уходит до 600, а отопление в комнате получается почти бесплатным. Дальше интереснее. Автор не поверил обзорам с цифрами вида «одна модель набрала 86, другая 88» и собрал свой бенчмарк из 14 задач, на которых сам когда-то наступал на грабли: FreeRTOS-задача на ESP32 с watchdog, фильтр Калмана с NaN в double из-за FTZ на Xtensa, гонки ресурсов в алготрейдинге, smali-патчи в DEX-файлах. За эталон взял облачный DeepSeek V4 Flash. Локальная Ornith-1.5-35B закрыла все 14 задач на полный балл, а эталон набрал 97%.