Влад Арбатов — Блог
1
подписчик
Технический директор. Создает аналитику Telegram и AI решения. Экс-Яндекс, Mapbox.
Технический директор. Создает аналитику Telegram и AI решения. Экс-Яндекс, Mapbox.
6 месяцев назад
OpenAI захватили гоблины
Я не шучу, абсолютно серьезно. Ладно, не OpenAI, а модели ChatGPT. Вчера OpenAI опубликовала странный разбор: почему GPT-5.x начал слишком часто вставлять в ответы гоблинов, гремлинов и родственную сказочную живность. На поверхности это выглядело как комичная речевая привычка. Пользователи начали замечать это первыми, затем и внутри OpenAI сотрудники начали наблюдать "всплеск гоблинов". Внутри оказалась вполне серьезная проблема обучения: локальный сигнал вознаграждения начал менять общий стиль модели...
7 месяцев назад
Внутренности Клода
Внеплановый пост Вчера утёк полный исходный код Claude Code, а я взял и сделал in-depth техническую документацию по архитектуре и внутренностям CC — на основе анализа 1 884 файлов и 512 тыс. строк TypeScript. Должно быть полезно любому, кто использует CC как инструмент в своём пайплайне. ЗДЕСЬ. Там 8 разделов: Обзор архитектуры Точки входа, поток данных, граф модулей, конфиг, модель процессов, состояние Query Engine Цикл диалога, стриминг, управление токенами, восстановление после ошибок, компакция Система инструментов Интерфейс инструментов, реестр, жизненный цикл выполнения, разрешения,...
7 месяцев назад
Google ускоряет LLM в 8 раз
Google Research, DeepMind и NYU представили TurboQuant, и это может оказаться одной из самых важных инфраструктурных работ года в AI. На бумаге выглядит не слишком захватывающе: vector quantization, сжатие высокоразмерных векторов, теоретические гарантии. На практике речь идет о двух очень дорогих вещах: KV-cache у больших языковых моделей и векторном поиске. И там, и там старая проблема одна и та же. Нужно ужать данные как можно сильнее, но не испортить геометрию векторов, то есть расстояния и скалярные произведения...
