Андрей Карпатый - Выпускник Стэнфорда, ex-глава AI Tesla, член изначальной научной команды OpenAI, пришел в студию подкаста No Priors. Мы собрали ключевые тезисы.
🟡 Технология беспилотного вождения достигла значительных успехов, но предстоит еще долгий путь.
«10 лет назад мой друг из Waymo сделал для меня демо вокруг квартала. Это была идеальная поездка. Но, потребовалось 10 лет, чтобы перейти от демо к продукту, за который я могу заплатить, который работает в городских условиях».
🟡 Что тормозило развитие автономных автомобилей, регулирование или технологии?: “Я думаю причина больше в технологиях. Демо длятся всего 30 минут, и, конечно, нужно десятилетие или больше чтобы машина на дороге увидела все то многообразие ситуаций, которые она должна уметь предвидеть в готовом продукте. Существенный огромный разрыв между демо и продуктом”
🟡 О распространении AGI (“сильного интеллекта”): “по сути, в направлении автономных автомобилей мы достигли AGI. Но, при этом, мы не видим широкого распространения автономных автомобилей по всему миру. Мне кажется, нечто подобное произойдет и с AGI, когда мы его достигнем - нужно будет время на его внедрение”
🟡 Tesla vs Waymo: “У Tesla есть проблема с программным обеспечением, а у Waymo — с оборудованием. Я думаю, на горизонте 10 лет Tesla будет впереди, потому что решить проблему с ПО гораздо проще».
🟡 Инновационный подход Tesla: “Машины Waymo все обклеены датчиками, в то время как машины Tesla опираются только на компьютерное зрение. На самом деле, Tesla также использует дорогие датчики вроде лидара во время обучения модели. А потом, раскатывает эту модель на машины только с компьютерным зрением. Это позволяет сильно экономить на дорогих датчиках с минимумом потерь в эффективности.”
🟡 Может ли Tesla стать компанией, производящей гуманоидных роботов? “Конечно! Роботы и автомобили опираются на одни и те же ключевые технологии: понимание пространства, те же камеры, планирование следующего действия…будущее Tesla заключается в крупномасштабной робототехнике”
🟡 О роботах для людей: “я сомневаюсь, что скоро появятся роботы для повседневной жизни, вроде робота-бабули, которая будет стирать вам белье. Более вероятно, что сначала роботы будут решать узкие задачи внутри компаний, и потом решать эти же проблемы для других компаний, и только потом выйдут на рынок для домохозяйств. Хотя роботы unitree мне нравятся, я хочу себе купить! (unitree robotics - китайская компания, производящая роботов-собак и гуманоидных роботов) ”
🟡 Почему именно гуманоидные роботы, а не, к примеру, робот-тележка? Три причины - 1) очень много сил и денег уходит на создание одного типа платформы (например гуманойд), и единая платформу имеет преимущество из-за transfer learning (научившись решать одну задачу, проще научить решать похожую но другую задачу), так что имеет смысл выбрать и развивать одну платформу, чем несколько, 2) гуманоидного робота проще обучать, потому что он просто может повторять движения за человеком 3) мир сконструирован во многом для удобства человека и человекоподобных существ.
🟡 О трансформерах: Архитектура нейронных сетей была бутылочным горлышком развития до трансформеров. С появлением трансформеров мы пришли к устраивающей всех архитектуре, и сейчас гораздо больше внимания уделяется какой набор данных мы используем, или какую функцию потерь.
🟡 Синтетические данные и их проблемы: Много внимания в сфере больших языковых моделей сейчас уделяется использованию данных из интернета, но так чтобы это был мыслительный процесс - обучить модели создавать вводные данные для других моделей. Синтетические данные (когда алгоритмы генерируют дополнительные данные для обучения из уже имеющихся данных) имеют решающее значение для прогресса, ими необходимо управлять осторожно, чтобы избежать потери разнообразия. «Если посмотреть на распределение [данных], то вы заметите, что оно не очень разнообразно... вам нужно убедиться, что вы сохраняете энтропию в своем наборе данных…Если вы спросите у chat GPT шутку, то она может знает 2-3 шутки, Происходит сужение разнообразия».
🟡 Трансформер vs мозг человека: “трансформеры имеют преимущество над мозгом человека в плане памяти, эффективности обучения, Им пока не хватает только данных и величины контекста (128k токенов у GPT4o), но это вопрос времени”
🟡 Будущее дополнения человека ИИ: хотя технологические инструменты расширяют человеческие возможности, будущие достижения могут привести к более интегрированным или даже объединенным с ИИ системам. «я думаю о ИИ как о еще одном слое вокруг вашего мозга, который может дополнять его, такой “экзо-мозг”. Но встает проблема что будет лишь несколько платформ, контролирующих это ПО. Хотите ли вы доверять им свой мозг? Важно чтобы были версии с открытым кодом (open source)».
🟡 Малые эффективные модели ИИ: модели ИИ могут быть намного меньше текущих, оставаясь эффективными. «Я думаю, что когнитивное ядро может быть чрезвычайно малым... миллиард параметров дает вам что-то вроде хорошего когнитивного ядра».
🟡 ИИ в образовании: ИИ может масштабировать высококачественное образование. (автор: Что мы Улей и хотим сделать!)