Исследователи создали ИИ под названием PLATO (Physics Learning through Auto-encoding and Tracking Object) — его обучали на сотнях часов видеороликов с базовыми представлениями и знаниями, которые дети получают в первые несколько месяцев жизни.
PLATO состоит из двух основных частей: модуля восприятия, который находит объекты на видео, и динамического модуля, который предсказывает движения объектов.
Для обучения алгоритма использовалось 300 000 видео, еще 5000 предназначалось для тестирования. Все это делалось для того, чтобы обучить алгоритм пяти базовым гештальтам:
- прочности — объекты этого мира состоят из плотного вещества и не могут проходить друг через друга,
- непрерывности — если объект двигается за двумя препятствиями, он будет виден до первого препятствия, после второго и между ними,
- постоянства — объект не может просто исчезнуть или появиться из ниоткуда,
- неизменности — объект сохраняет свои свойства (цвет, форму) с течением времени,
- инерции — объект обладает скоростью и направлением и препятствует их изменению при взаимодействии с другими.
Модуль восприятия получает кадр, на котором есть объекты, и маски, на которых эти объекты выделены. Затем он кодирует эти изображения в эмбеддинг — сжатое векторное представление тех же данных — достаточное, чтобы из него можно было восстановить ключевые детали. Чтобы алгоритм обучался, он превращает изображения в эмбеддинг, затем выполняет обратный процесс, реконструируя изображение, а во время обучения меняет параметры кодировщика и декодировщика так, чтобы разница между исходным изображением и реконструированным была минимальной. Динамический модуль работает на базе нейросети с долгой краткосрочной памятью (LSTM), которая «смотрит» на текущий эмбеддинг и все предыдущие, чтобы предсказать будущий кадр.