Когда ИИ встречает реальность: история успеха LinkedIn
Прошло целых три года после ChatGPT, а LinkedIn только сейчас запустил свой ИИ-powered поиск людей. Звучит долго? И это именно то, о чём говорить нечего — потому что на самом деле это показывает что-то гораздо более важное. Развёртывание генеративного ИИ в реальных корпоративных системах — это совсем не то, что прототипы в демо. Это медленный, жёсткий процесс оптимизации, где каждый процент имеет значение.
Как это работает: магия семантического поиска
Представьте себе: вы вводите в поиск LinkedIn что-то вроде «Кто разбирается в лечении рака?» Старый поиск по ключевым словам здесь просто сдался бы — искал бы только слово «рак», и всё. Если бы вы захотели что-то более сложное, пришлось бы вручную запускать отдельные поиски по «раку», потом по «онкологии» и складывать результаты как пазл.
Новая система — она другая. Языковая модель под капотом понимает, о чём вообще речь идёт. Она видит, что «рак» и «онкология» — это вообще-то одно и то же, и даже «геномные исследования» как-то с этим связаны. Результат — люди в выдаче гораздо более релевантные, даже если в их профилях нет слова «рак».
Но вот тут есть один интересный момент: система ещё и балансирует между релевантностью и пользой. Она не только найдёт топ-онколога в мире (которого вы вряд ли сможете достать), но и покажет тех, кто рядом с вами — в вашей прямой сети — и кто «достаточно хорош». Это как раз те люди, которые могут стать мостом к эксперту.
Настоящий рецепт: как LinkedIn победила сложность
А вот что действительно важно для тех, кто строит корпоративный ИИ: LinkedIn разработала целый «рецепт». Переиспользуемый, копируемый процесс из дистилляции, совместного проектирования и беспощадной оптимизации. И главное — они отрабатывали его долго, на одном продукте, прежде чем браться за следующий.
Вот как это звучит от их VP инженерии: «Не пытайтесь делать слишком много сразу». Раньше у них была огромная амбиция — одна система для всех продуктов LinkedIn. И это всё заморозило. Не двигалось вообще.
Вместо этого они сосредоточились на одном вертикале — на поиске работы. Там он работал — люди без четырёхлетнего диплома стали на 10% чаще получать офферы. Вот это результат! Теперь этот же рецепт они применяют к гораздо большему вызову — к миллиарду с лишним профилей.
Одно дело — десятки миллионов вакансий. Другое — миллиард людей
Начинается всё с малого. LinkedIn создала «золотой датасет» из пары сотен или максимум тысячи реальных пар запрос-профиль. Каждую потом вручную оценили по подробному документу политики на 20-30 страниц. Потом они взяли эту кучку и попросили большую модель создать синтетические данные в огромном количестве.
На синтетических данных они обучили модель на 7 миллиардов параметров — своего рода «идеального судью» релевантности. Она была идеальна для обучения, но медленнее черепахи для живой выдачи.
Потом было упоминание — полгода борьбы. Не могли обучить одну модель, которая бы одновременно придерживалась политики И учитывала сигналы пользовательского поведения. Момент озарения — надо разбить задачу! Дистиллировали большую модель в меньшую на 1,7 миллиарда параметров (только релевантность), потом добавили отдельные учителя для других сигналов (кто подписывается, кто кому отправляет заявки). Это «мультиучитель» ансамбль работает через KL divergence — финальная модель учится подражать всем этим сигналам сразу.
Результат — двухэтапный конвейер: сначала большая модель на 8 миллиардов (широкий поиск, ловит кандидатов из графа), потом малюсенькая, суперсжатая модель для тонкой ранжировки. Для поиска работы они использовали студенческую модель на 600 миллионов — совсем небольшую. Для поиска людей потребовалось ещё агрессивнее: сжали с 440 миллионов прямо до 220 миллионов параметров. И теперь это работает для 1,3 миллиарда с потерей релевантности меньше одного процента. Представляете?
Но вот беда — когда применили это к поиску людей, старая архитектура рухнула. Поиск работы умел только ранжировать. А поиск людей нужно ещё и найти в миллиарде записей.
«Миллиард записей — это совсем другой зверь», — говорит их VP. И они не пошли по лёгкому пути. Старая система индексирования работала на CPU. Но для такого масштаба и скорости — нужна была GPU. Целая переделка инфраструктуры!
10-кратное ускорение: как сдавить модель без потерь
Когда с поиском в миллиарде записей разобрались, понадобилось решить проблему скорости ранжирования. Здесь они применили совсем неожиданный ход.
Обучили ещё одну модель — «резюмировщик». Она одна работает через reinforcement learning на одной задаче: сжать входные данные для модели без потери информации. И что вы думаете? Сжала входные данные в 20 раз! В 20 раз!
220-миллионная модель плюс 20-кратное сжатие входа = 10-кратное ускорение пропускной способности всей системы. Вот это оптимизация!
Прагматизм вместо шумихи: инструменты, а не агенты
И последнее, о чём говорит их VP — может, самое важное для вас. Забудьте про «агентическую хайп». Правда в том, что в корпоративном ИИ надо идеально прокачать рекомендательные системы. Вообще не важно, какую модель вы используете — важно, как быстро она работает для вашей задачи.
Их новый поиск — это вообще инструмент, построенный для будущего агента, а не сам агент. Там даже есть умный «маршрутизатор» на основе ИИ, который решает: отправить запрос в новую семантическую систему или в старый, проверенный временем лексический поиск?
«Агентные продукты — это только так хороши, как инструменты, которыми они пользуются», — говорит он. «Можно иметь самую лучшую рассуждающую модель в мире. Но если ваш поиск людей не очень хорош, агент всё равно не сможет доставить результат».
Что из этого взять себе: четыре урока
Если вы строите свой ИИ-roadmap в корпорации, вот что важно:
- Прагматизм важнее всего — не пытайтесь сразу море. Выиграйте один вертикал, даже если это займёт полтора года.
- Превратите победу в систему — документируйте политики, конвейеры дистилляции, процесс совместного дизайна. Это должен быть повторяемый рецепт.
- Оптимизация — вот где 10-кратные выигрыши — не в новых моделях, а в дистилляции, сжатии, умных суммаризаторах на RL.
- Строите не агента, а инструмент — и это инструмент будущего. Сначала идеальный поиск, потом агент, который его использует.
LinkedIn показала, что в реальном корпоративном ИИ большие названия моделей и крутые агенты — это пыль. Настоящее стратегическое преимущество в том, что вы овладеваете конвейером: соответствующий дизайн, дистилляция, беспощадная оптимизация. Вот что работает.
Хотите разбираться в том, как на самом деле строятся корпоративные ИИ-системы, а не только следить за шумихой про новые модели?🔔 Чтобы следить за реальными историями успеха в ИИ и разобраться, как компании переходят от прототипов к масштабу — подпишитесь на мой канал «ProAI» в Telegram!