LinkedIn запустил поиск людей на основе искусственного интеллекта — и это произошло не просто так
Представьте: вы печатаете в поисковую строку «кто разбирается в лечении рака?» — и LinkedIn выдает вам релевантных специалистов, даже если в их профилях нет точного совпадения этих слов. Звучит просто? Погодите, это заняло три года после ChatGPT.
LinkedIn только что запустил свою новую систему поиска людей на основе генеративного AI, и это произошло спустя целых три года после появления ChatGPT и полгода после их AI-поиска вакансий. Знаете, для технических лидеров это очень показательная история: развертывание генеративного AI в реальных условиях — это медленная, жесткая борьба за практическую оптимизацию в масштабах 1,3 миллиарда пользователей.
Как это работает: семантика вместо ключевых слов
Старая система LinkedIn основывалась на ключевых словах и просто не знала, что делать со сложными запросами. Она искала только точные совпадения — введешь «рак», получишь только результаты с этим словом. Хочешь чего-то более продвинутого? Извини, придется вручную запускать отдельные поиски по «рак», потом по «онкология», потом пытаться совместить результаты в голове.
Новая система — совсем другое дело. Языковая модель понимает смысл запроса, а не просто сканирует текст. Она знает, что «рак» связан с «онкологией», и даже более косвенно — с «исследованиями генома». Результат? Появляются куда более релевантные люди — онкологи, исследователи — даже если в их профилях нет точного слова «рак».
Но тут есть еще один умный ход. Система не только ищет релевантность, но и полезность. Вместо того чтобы показать вам топ-онколога планеты (которого не достать даже через несколько уровней контактов), система еще учитывает, кто из ваших прямых контактов достаточно подходит и может стать мостом к настоящему эксперту. Это практично.
Главный урок: «рецепт» вместо одноразового пилота
Но самое интересное для enterprise-компаний — это не сама фишка, а как LinkedIn это делал. Компания разработала повторяемый процесс: многоэтапный конвейер дистилляции моделей, совместного проектирования и безжалостной оптимизации. И вот что важно: LinkedIn сначала отработал это на одном продукте, прежде чем перейти к другому.
Вендинг Чжан, вице-президент по инженерии LinkedIn, прямо говорит: «Не пытайтесь делать все сразу». Раньше у компании было размытое желание построить единую систему для всех продуктов LinkedIn — и это затормозило прогресс. Вместо этого фокус переместился на одно направление.
Успех поиска вакансий дал четкий план действий. И вот, этот же «рецепт» теперь применяют к куда более сложной задаче — поиску среди 1,3 миллиарда людей. Как сказал Эррам Бергер, вице-президент по инженерии: одно дело разобраться с десятками миллионов вакансий, совсем другое — с миллиардом пользователей.
Технический рецепт: от 440 миллионов параметров к 220 миллионам
Начинается все с малого — буквально с нескольких сотен или тысяч примеров поисковых запросов и профилей, тщательно оцененных по детальному документу политики (20-30 страниц, представляете?). Потом LinkedIn использует эту маленькую «золотую выборку» для генерации огромного объема синтетических данных обучения — это как клонирование на основе шаблона.
Синтетические данные обучили большую модель из 7 миллиардов параметров — это медленная, но точная «судья» релевантности. Но нельзя же пустить такую медленную модель в продакшен.
Потом произошел интересный момент: полгода-девять месяцев команда пыталась обучить одну модель, которая одновременно соблюдала бы строгую политику релевантности и реагировала на сигналы пользовательского поведения. Не получалось. И вот — озарение: нужно разбить проблему. Большую модель дистиллировали в меньшую модель-учитель из 1,7 миллиарда параметров, сфокусированную только на релевантности. Потом добавили отдельные модели-учителя для предсказания конкретных действий пользователей — клики, подписки, применения на работу.
Этот ансамбль из нескольких учителей выдавал мягкие вероятностные оценки, которые финальная маленькая модель изучала через KL-divergence loss. Получилась двухуровневая система: сначала большая 8-миллиардная модель ловит общие кандидаты из графа контактов, потом маленькая, суперсжатая модель делает тонкую ранжировку.
Для поиска вакансий хватило модели из 600 миллионов параметров. Для поиска людей потребовалась еще более агрессивная оптимизация: модель сжали с 440 миллионов до 220 миллионов параметров — и потеря релевантности составила менее одного процента. Безумно эффективно.
GPU вместо CPU: как меняется архитектура при масштабировании
Но когда переходишь с поиска вакансий на поиск людей — старая архитектура ломается. Раньше была задача ранжирования, теперь еще и поиск добавился. Миллиард записей — это совсем другой зверь.
Старая индексная система работала на CPU. Но для масштаба 1,3 миллиарда людей и требуемой скорости отклика нужны GPU-ускорители. Это была фундаментальная переделка инфраструктуры, которую поиск вакансий не требовал.
И еще одна хитрость: RL-модель для сжатия входных данных
После решения проблемы поиска команда столкнулась с ранжированием и эффективностью. И вот где «рецепт» получил новую изюминку. Оказалось, модель можно еще оптимизировать на входе.
Обучили отдельную языковую модель с использованием reinforcement learning — её единственная задача сжимать входной контекст в резюме. Результат? Размер входа сократился в 20 раз, практически без потери информации.
220-миллионная модель плюс 20-кратное сжатие входа = 10-кратное увеличение пропускной способности ранжирования. Вот это оптимизация.
Инструменты, а не агенты: прагматизм побеждает hype
Бергер был очень настойчив в одной вещи (и это точно привлечет внимание): реальная ценность для enterprise сегодня в совершенствовании рекомендательных систем, а не в гонке за «агентским hype». Модель? Да, он отказался обсуждать конкретные базовые модели. Компания выбирает на основе эффективности для конкретной задачи.
Новая система поиска включает еще и «интеллектуальный слой маршрутизации запросов», который сам работает на основе LLM. Он прагматично решает: должен ли запрос типа «trust expert» идти в новую семантическую систему или вернуться к старому, надежному лексическому поиску.
Вся эта сложная система спроектирована как инструмент для будущего агента, а не сам агент. Почему? Потому что любой агент настолько хорош, насколько хороши инструменты, которые он использует. Самая лучшая reasoning-модель в мире толку не даст, если система поиска людей, которую использует агент, неточна.
Когда люди search станет доступным, LinkedIn возможно будет предлагать агентов. Но деталей пока не раскрывает. Зато Бергер обещает распространить этот «рецепт» по другим продуктам компании.
Playbook для enterprise: как делать AI по-настоящему
Для компаний, строящих свои AI-дорожные карты, LinkedIn показывает четкую схему:
- Прагматизм: не кипятите океан. Выигрывайте в одном направлении, даже если это займет 18 месяцев.
- Кодифицируйте процесс: превратите победу в повторяемый рецепт (документы политики, конвейеры дистилляции, совместное проектирование).
- Оптимизируйте беспощадно: настоящие 10-кратные улучшения приходят после базовой модели — в обрезке, дистилляции и креативных хаках типа RL-обученного суммаризатора.
История LinkedIn показывает: в реальном enterprise AI фокус на конкретных моделях или крутых агентских системах должен отойти на второй план. Настоящее, долгосрочное конкурентное преимущество идет из овладения конвейером — из «AI-native» рецепта совместного проектирования, дистилляции и жестокой оптимизации.
LinkedIn доказал, что путь к AI в масштабе — это не ракетная наука, а системный, повторяемый процесс. Если вы интересуетесь тем, как реально строится enterprise AI и какие технические решения работают в боевых условиях, это то, что нужно знать.🔔 Подпишитесь на мой канал «ProAI» в Telegram, чтобы не пропустить детальный разбор новых технологий и стратегий масштабирования AI!