В октябре 2025 года Ллион Джонс — один из авторов легендарной статьи “Attention Is All You Need” и соавтор архитектуры Transformer — публично заявил: индустрия зашла в тупик, пора искать нечто принципиально новое.
На конференции TEDAI в Сан-Франциско он призвал AI-сообщество «переключить внимание с бесконечных доработок Transformer на поиски следующего большого открытия».
Почему Джонс «уходит» от Transformer?
- Слишком много денег — слишком мало идей: Джонс отмечает, что приток инвестиций и кадров в AI привёл к тому, что все заняты «доработкой» и «оптимизацией» существующих моделей, а не поиском новых архитектур.
- Индустрия зациклилась на KPI и публикациях: исследователи боятся рисковать, все гонятся за быстрыми результатами и публикациями, а не за настоящими открытиями.
- Исторический параллель: перед появлением Transformer все пытались «полировать» RNN, но с появлением новой архитектуры прежние усилия стали бессмысленны. Сейчас, по мнению Джонса, индустрия снова «полирует» устаревшую технологию, не замечая, что где-то рядом может быть следующий прорыв.
Как родился Transformer?
Джонс вспоминает, что работа над Transformer в Google была свободной, творческой, без давления по публикациям и KPI. Именно эта атмосфера позволила создать революционную архитектуру. Сейчас же даже высокие зарплаты не компенсируют отсутствие свободы для настоящих экспериментов.
Sakana AI: лаборатория для новых идей
Джонс основал в Японии стартап Sakana AI, где пытается воссоздать атмосферу свободы и любопытства, характерную для ранних дней Transformer.
- Меньше KPI, больше экспериментов: в Sakana AI поощряют исследования, которые никто другой не стал бы делать.
- Пример успеха: один из сотрудников предложил идею «машины непрерывного мышления» — и получил неделю на эксперимент. В итоге проект был представлен на NeurIPS.
- Джонс уверен: свобода важнее зарплаты для привлечения талантов.
Не «развод», а «пауза»
Джонс не призывает полностью отказаться от Transformer — он признаёт, что архитектура ещё принесёт много пользы. Но индустрия, по его мнению, может и должна позволить себе больше поисков и экспериментов, а не только «выжимать» максимум из старых идей.
Где сейчас другие «отцы» Transformer?
- Ashish Vaswani: Essential AI, цель — «западный DeepSeek».
- Noam Shazeer: вернулся в Google, отвечает за Gemini.
- Niki Parmar: Anthropic, ранее Essential AI и Adept.
- Jakob Uszkoreit: Inceptive Nucleics, биоинформатика.
- Llion Jones: Sakana AI, развивает эволюционные и коллективные AI-модели.
- Aidan N. Gomez: Cohere, готовит IPO, фокус на корпоративных AI-решениях.
- Lukasz Kaiser: OpenAI, работает над Reasoners.
- Illia Polosukhin: NEAR Protocol, продвигает user-owned AI и приватность.
Вывод
Transformer стал фундаментом современной AI-революции, породил ChatGPT, Gemini, Claude и другие передовые продукты. Но даже его создатели считают: индустрии пора искать новые архитектуры, а не бесконечно «допиливать» старую.
Свобода, любопытство и готовность к риску — вот что приведёт к следующему прорыву, который, возможно, уже где-то рядом.
Источник:
Подробнее о Sakana AI и взглядах Джонса (VentureBeat)
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru
Сайт https://www.smssystems.ru/razrabotka-ai/