В 2019-м тренировка GPT-2 была подвигом: огромные кластеры, закрытые датасеты, секретные оптимизации. В 2025-м всё резко меняется — и блогер Giles демонстрирует это буквально на своём столе. На обычном ПК с RTX 3090 он обучает GPT-2-small на 163 млн параметров с нуля, следуя рекомендациям Chinchilla и используя 3,2 млрд токенов FineWeb. Итог — модель, которая хоть и уступает оригинальной, но качественно работает, улавливает структуру языка и готова к fine-tuning. Это не просто эксперимент. Это — поворотный момент...