Ютубер sammyuri создал в Minecraft уникальную языковую модель
CarftGPT, состоящую из 5 миллионов параметров и построенную из более 438 миллионов блоков. Достижение особенно примечательно тем, что проект
реализован без использования модов или дата-паков, опираясь исключительно на схемы из красного камня.
Несмотря на скромные показатели – 5 миллионов параметров, контекстное окно в 64 токена и словарь в 1920 слов – по сравнению с современными нейросетями, CarftGPT представляет собой впечатляющий технический эксперимент. Обучение модели проходило на датасете TinyChat, содержащем базовые разговорные фразы на английском языке.
Генерация ответа у CarftGPT занимает значительное время – в среднем около двух часов. Это стало возможным благодаря увеличению скорости работы сервера в 40 тысяч раз и использованию Minecraft High Performance Redstone. В стандартной версии Minecraft один ответ может генерироваться более десяти лет.
При этом, по словам автора, качество ответов модели оставляет желать
лучшего: она часто допускает грамматические ошибки, сбивается с темы или
выдает бессмысленный текст.
Для работы с игровым миром потребуется компьютер с 32 ГБ оперативной памяти для загрузки сервера, однако для комфортной работы рекомендуется не менее 64 ГБ ОЗУ. Вся необходимая информация, включая инструкции, веса и код, доступна в GitHub-репозитории.