🎛 Полностью сгенерированная ОС — NeuralOS

🎛 Полностью сгенерированная ОС — NeuralOS

Что если весь интерфейс компьютера — это просто поток пикселей, который можно галлюцинировать?

Исследователи из Университета Ватерлоо и NRC Canada представили NeuralOS — нейросеть, которая полностью симулирует графическую ОС, вроде Ubuntu XFCE, без строчки интерфейсного кода.

🖱 Как это работает?

▪ Модель получает поток событий от мыши и клавиатуры.

▪ Рекуррентная нейросеть (2×LSTM) отслеживает состояние системы и положение курсора.

▪ Автоэнкодер ужимает экран до 64×48×16.

▪ Диффузионный UNet дорисовывает следующий кадр, включая окна, иконки, меню.

💡 Особенности:

▪ Обучена на 120 000 случайных сессий и 2000 "разумных", сгенерированных Claude 3.5.

▪ Вместо резких движений — кривые Безье для реалистичного перемещения мыши.

▪ Средняя ошибка курсора — <2 пикселей.

▪ Интерфейс работает в браузере, пусть и со скоростью 1.8 FPS на H100.

🔍 Почему это важно:

▪ Граница между кодом и UI исчезает — достаточно "красить пиксели" правдоподобно, и пользователь поверит во всё.

▪ Нейро-симуляторы вместо моков — представьте тесты, где вместо UI-драйвера рисует модель, реагирующая на всё, как настоящая ОС.

▪ Архитектурное вдохновение — сочетание LSTM и диффузии может пригодиться в неожиданных проектах.

🧠 Пока у NeuralOS куча ограничений — низкое разрешение, высокая цена вычислений, отсутствие настоящей файловой системы — но концепт впечатляет. Это шаг к генеративным пользовательским интерфейсам, которые когда-нибудь могут заменить привычные оконные системы.

📄 https://huggingface.co/papers/2507.08800