3023 подписчика
#odd_facts #AI
Youtube пытаются сделать полигоном для обучения нейросетей.
Самый большой успех на этом поприще — новый бот от OpenAI, который был обучен играть в Minecraft на 70 тысячах часов видео-роликов. В принципе, задача — научить нейросеть играть в Minecraft — небезынтересна сама по себе. У этой игры нет цели, как таковой, и бот фактически изучает управление и физику открытого мира. Но важнее тут другое — методика использования бесконечного количества ютьюб-роликов для обучения многим человеческим навыкам (ролики-инструкции можно найти почти на любую тему). Проблема в том, что для обучения нейросети такие видео нужно тщательно размечать, причем по шагам: если сделать это, произойдет это и так далее. Таких данных должно быть очень и очень много, что дорого, а значит обучающих датасетов мало, и сами они небольшие — что не дает направлению развиваться также бурно, как это происходит с генеративными моделями вроде GPT-3 (они просто сканируют гигантское количество текстов и изображений в интернете и учатся им подражать). Натаскивая бота на Minecraft в OpenAI придумали, как тренировать нейросети в задачах, где модель должна подражать человеку, работающему за компьютером. Метод называется VPT, предтренировка по видео. Достаточно нанять какое-то количество людей и заплатить им за игру в тот же самый Minecraft, например, записывая и видео игры, и одновременно, — нажатия кнопок на клавиатуре, а также движения и клики мышки. Имея такой набор данных можно натренировать модель-ассистента, чтобы она сама расшифровывала видео по теме — и собрала нужный по размерам, подробно размеченный датасет. А на этих данных уже можно обучить другую нейросеть ровно той человеческой деятельности, которой были посвящены ролики. Так можно тренировать модели для управления роборуками-манипуляторами. Или, к примеру, — обучить цифровых ассистентов для свободной работы с интернетом и бесконечными его сервисами.
༼つ◕_◕༽つ @geekorama
1 минута
28 ноября 2022
3498 читали