Один из авторов Трансформера (ключевая архитектура больших языковых моделей, и не только), технический лид Google AI, со-основатель Character.ai
🟡О группе создавшей Трансформер: “команда Якоба Узкорейта работала с текстом, и их постоянно раздражали рекуррентные сети (RNN) как основная архитектура для работы с текстом; они обсуждали альтернативные подходы, и я просто сидел в офисе неподалеку, услышал их разговор и отозвался: “ребят, звучит интересно, давайте я вам помогу”
🟡Преимущество трансформера над другими архитектурами: "Магия Трансформера. заключается в том, что вы можете обрабатывать всю последовательность сразу, параллельно. Современное hardware хорошо для этого подходит"
🟡О создании character.ai: Потом Шазир уволился чтобы создать с своим коллегой Даниэлем Де Фрейтас стартап character.ai, который позволяет пользователям создавать персонализированных ботов на основе известных личностей или архетипов. Пользователи могут разговаривать с такими фигурами, как Сократ или Илон Маск, или консультироваться с ботом-терапевтом
🟡Что делали в Google: Ноам был тимлидом (Principal Software Engineer в Google Brain), а Даниэль разрабатывал чатбот Lambda (тот самый нашумевший чатбот, про которого один из исследователей Google делал медийное заявление, что ему страшно, так как бот обладает признаками сознания). Даниэль запустил Lambda в рамках проекта “20%”, когда каждый сотрудник Google может посвятить один день в неделю на свои проекты. Вскоре десятки программистов Google посвящали свои 20% свободного времени проекту, отдавая ему и свои выделенные вычислительные мощности.
«Он [Де Фрейтас] дошел до того, что стал ходить по офису и выпрашивать у людей квоту TPU... и в какой-то момент я посмотрел на табло и подумал: что это за штука под названием Lambda, и почему у нее 30 кредитов TPU?»
🟡Консерватизм больших компаний: Но, Google так и не дал официально зеленый свет проекту Lambda: “Я думаю, что только крупные компании обеспокоены запуском продуктов, которые могут говорить что угодно... Я думаю это просто было слишком рискованно для Google”.
Что мотивировало Ноама и Даниэля уволиться и создать стартап character.ai. Через некоторое время стартап привлек 150 млн долл инвестиций по оценке более 1 миллиарда долл. Более 20 млн пользователей проводят на сервисе в среднем 2 часа в день. При этом в стартапе работает всего 22 сотрудника, из которых 21 - программисты (примечание - у instagram было 14 сотрудников когда фейсбук купил их за 1 млрл долл).
🟡О подборе сотрудников character.ai: “они все супер-звезды. Часть из Google, часть из Meta. Кроме технических навыков мы отбирали их по принципу мотивации, которая должна быть чем-то средним между жгучим желанием и детской мечтой.”
🟡Почему успешен character.ai: «Люди хотят взаимодействовать с чем-то, что ощущается как человеческое, понимаете? Так что, по сути, вам нужно использовать несколько персон... позвольте людям придумывать персон столько, сколько они хотят. Одинаковые для всех чатботы скучны, потому что должны всем нравиться. Как-то Джордж Буш сказал, что не любит брокколи, так фермеры были возмущены. Ты не можешь нравится всем. Поэтому мы даем возможность создать персонализированного бота”.
🟡Вектор развития character.ai: «сейчас для нас фокус - память... наши пользователи определенно хотят, чтобы их виртуальные друзья помнили их».
🟡Когда хайп больших моделей иссякнет: “я не вижу горизонта. Модели на основе трансформеров получат еще в 10-100-1000 больше внимания и денег. Модели будут становиться все лучше и лучше. Мы в самом начале"
🟡Мнение насчет популярного тезиса, что данные для обучения уже кончились: “Не соглашусь, люди постоянно генерируют данные, например болтают, как мы сейчас, а людей уже под 10 миллиардов. Потребность в данных растет пропорционально корню от вычислений (примечание - то есть гораздо медленнее вычислений, Ноам имеет в виду, что трансформер сравнивает каждый токен с каждым токеном, что приводит к тому, что кол-во вычислений пропорционально квадрату длины входных данных).
[Уже после выпуска подкаста Google фактически выкупил character.ai, а Ноам и Даниэль вновь присоединился к Google, уже в роли технических лидеров Google AI
Подписывайтесь на нас:
тг: https://t.me/uleyai
вк: https://vk.com/uleyai