Когда приходится всё ломать и строить заново
Представьте: у вас миллионы пользователей, продукт работает, всё вроде ок. И тут вы решаете взять и переписать всю архитектуру с нуля. Звучит безумно? Ну вот Notion именно так и поступила.
Для версии 3.0 своего продукта (вышла в сентябре) компания не стала латать дыры и наращивать костыли. Они поняли: чтобы по-настоящему работать с агентным AI на уровне крупных компаний, нужно переделать всё с фундамента.
В чём разница? Обычные AI-процессы работают по чётким пошаговым инструкциям, основанным на few-shot обучении (это когда модель учится на нескольких примерах). А вот AI-агенты на продвинутых reasoning-моделях — совсем другое дело. Они думают. Понимают, какие инструменты у них есть. Планируют следующие шаги.
Как объяснила VentureBeat Сара Сакс, руководитель AI-моделирования в Notion: «Вместо того чтобы пытаться впихнуть новое в старое, мы хотели использовать сильные стороны reasoning-моделей. Мы построили новую архитектуру, потому что рабочие процессы (workflows) — это не то же самое, что агенты».
Переоркестровка для автономной работы
Кстати, о масштабах: Notion используют 94% компаний из списка Forbes AI 50. Всего у них 100 миллионов пользователей. Среди клиентов — OpenAI, Cursor, Figma, Ramp и Vercel. Да-да, те самые.
Компания увидела необходимость перейти от простых задачных процессов к системам, ориентированным на цели. Такие системы позволяют агентам самостоятельно выбирать инструменты, организовывать их работу и выполнять задачи в связанных средах.
По словам Сакс, reasoning-модели очень быстро стали «намного лучше» учиться использовать инструменты и следовать цепочкам рассуждений (chain-of-thought). Это делает их «гораздо более независимыми» — они могут принимать множество решений в рамках одного агентного процесса. «Мы перестроили нашу AI-систему под это», — говорит она.
С технической стороны это означало замену жёстких промптов на единую модель оркестрации. Эту основную модель поддерживают модульные суб-агенты: они ищут информацию в Notion и в вебе, работают с базами данных, редактируют контент.
Каждый агент использует инструменты контекстно. То есть он сам решает: искать в Notion или, допустим, в Slack. Модель проводит последовательные поиски, пока не найдёт нужную информацию. А потом, например, может превратить заметки в предложения, создать follow-up сообщения, отследить задачи, найти и обновить информацию в базах знаний.
Вот что изменилось: в Notion 2.0 команда фокусировалась на выполнении конкретных задач AI. Им приходилось «исчерпывающе думать» о том, как правильно промптить модель. А в версии 3.0 пользователи могут давать задачи агентам, и агенты реально действуют — выполняют несколько задач одновременно.
«Мы переоркестровали систему так, чтобы она сама выбирала инструменты, а не через few-shotting, где ты явно прописываешь промптами все возможные сценарии», — объясняет Сакс. Цель: чтобы всё взаимодействовало с AI и «всё, что можете сделать вы, мог делать ваш Notion-агент».
Как изолировать галлюцинации
У Notion есть философия «лучше, быстрее, дешевле». Это запускает непрерывный цикл улучшений, который балансирует между задержками (latency) и точностью через тонко настроенные векторные embeddings и оптимизацию эластичного поиска.
Команда Сакс использует строгую систему оценки (evaluation framework). Она сочетает детерминированные тесты, оптимизацию языка, данные с человеческой разметкой и LLM в роли судьи (LLMs-as-a-judge). Модельная оценка выявляет расхождения и неточности.
«Разделяя оценку на два направления, мы можем определить, откуда идут проблемы. Это помогает изолировать ненужные галлюцинации», — поясняет Сакс. Плюс, упрощение самой архитектуры облегчает внесение изменений по мере развития моделей и техник.
«Мы оптимизируем задержку и параллельное мышление насколько возможно» — это ведёт к «намного лучшей точности», отмечает Сакс. Модели опираются на данные из веба и связанного рабочего пространства Notion.
В итоге инвестиции в перестройку архитектуры уже окупились, сообщает Сакс: выросли возможности и скорость изменений.
Она добавляет: «Мы полностью готовы перестроить всё снова, когда случится следующий прорыв. Если придётся».
Контекстная задержка: не всё про скорость
Вот что интересно. При создании и настройке моделей важно понимать: задержка (latency) субъективна. AI должен давать самую релевантную информацию, а не обязательно максимум информации в ущерб скорости.
«Вы удивитесь, как по-разному клиенты готовы ждать в разных ситуациях», — говорит Сакс. Интересный эксперимент: насколько медленным можно быть, прежде чем люди бросят модель?
Например, при чистом навигационном поиске пользователи не такие терпеливые. Им нужны ответы почти мгновенно. «Если вы спрашиваете ‘сколько будет два плюс два’, вы же не хотите ждать, пока ваш агент обыщет весь Slack и JIRA», — подмечает Сакс.
Но чем больше времени дано, тем более исчерпывающим может быть reasoning-агент. Например, Notion может выполнять 20 минут автономной работы по сотням сайтов, файлов и других материалов. В таких случаях пользователи более готовы подождать, объясняет Сакс: они позволяют модели работать в фоне, пока занимаются другими делами.
«Это вопрос продукта», — говорит Сакс. «Как мы задаём ожидания пользователей через UI? Как мы определяем их ожидания по задержке?»
Notion — свой главный пользователь
Notion понимает важность использования собственного продукта. Больше того: сотрудники компании — одни из самых активных power-юзеров.
По словам Сакс, у команд есть активные песочницы (sandboxes), которые генерируют обучающие и оценочные данные. Плюс «очень активный» цикл обратной связи через лайки и дизлайки. Пользователи не стесняются говорить, что нужно улучшить или какие функции они хотели бы видеть.
Сакс подчёркивает: когда пользователь ставит дизлайк, он явно даёт разрешение человеку-аннотатору проанализировать это взаимодействие так, чтобы его деанонимизировать настолько, насколько возможно.
«Мы как компания используем свой инструмент весь день, каждый день, поэтому получаем очень быстрые циклы обратной связи», — говорит Сакс. «Мы реально dogfooding наш продукт» (это когда компания сама ест свой собачий корм, то есть пользуется тем, что создаёт).
При этом, отмечает Сакс, это их собственный продукт, который они строят. Поэтому они понимают: у них могут быть «шоры» в отношении качества и функциональности. Чтобы это сбалансировать, Notion работает с доверенными «очень AI-подкованными» дизайн-партнёрами. Им дают ранний доступ к новым возможностям, и они предоставляют важную обратную связь.
Сакс подчёркивает: это так же важно, как внутреннее прототипирование.
«Мы за эксперименты в открытую, так получаешь гораздо более богатую обратную связь», — говорит Сакс. «Потому что в конце концов, если мы смотрим только на то, как Notion использует Notion, мы не даём лучший опыт нашим клиентам».
Не менее важно: непрерывное внутреннее тестирование позволяет командам оценивать прогресс и убеждаться, что модели не регрессируют (когда точность и производительность со временем ухудшаются). «Всё, что ты делаешь, остаётся верным», — объясняет Сакс. «Ты знаешь, что твоя задержка в пределах нормы».
Многие компании совершают ошибку, слишком интенсивно фокусируясь на ретроспективных evals (оценках). Из-за этого им сложно понять, как и где они улучшаются, отмечает Сакс. Notion рассматривает evals как «лакмусовую бумажку» для разработки и forward-looking прогресса, а также для наблюдаемости и защиты от регрессий.
«Думаю, большая ошибка многих компаний — смешивать эти два подхода», — говорит Сакс. «Мы используем их для обеих целей, но думаем о них совершенно по-разному».
Что можно вынести из опыта Notion
Для корпораций Notion может служить образцом того, как ответственно и динамично операционализировать агентный AI в связанном корпоративном пространстве с правами доступа.
Выводы Сакс для других технологических лидеров:
- Не бойтесь перестраивать, когда меняются фундаментальные возможности. Notion полностью переделала свою архитектуру под reasoning-модели.
- Относитесь к задержке как к контекстной штуке: оптимизируйте под конкретный use case, а не универсально.
- Основывайте все выходные данные на надёжных, проверенных корпоративных данных — это обеспечивает точность и доверие.
Её совет: «Будьте готовы принимать сложные решения. Будьте готовы находиться на вершине фронтира в том, что вы разрабатываете, чтобы создать лучший продукт для своих клиентов».
Ну что, впечатляет? Мне кажется, это смелый шаг: не каждая компания решится всё снести и построить заново. Особенно когда у тебя сотня миллионов пользователей. А Notion просто взяла и сделала. Потому что поняла: иначе не получится идти в ногу с прогрессом AI.
Если вам интересны такие истории о том, как крупные компании внедряют AI и меняют свои продукты, чтобы оставаться на передовой технологий…🔔 Узнавайте больше о развитии агентного AI, reasoning-моделях и следите за новостями мира искусственного интеллекта — подписывайтесь на мой канал «ProAI» в Telegram!