Разработчик под ником tucan9389 перенёс проект nanochat Андрея Карпати, открытый учебный проект «полного цикла» обучения языковой модели (токенизатор, претрейн, инструктивное дообучение SFT и RL в одном репозитории, известный как «спидран за $100» на связке из 8 видеокарт H100), с PyTorch на фреймворк JAX, чтобы обучать модель на чипах Google TPU. Результат порта выложен отдельным репозиторием nanochat-jax на GitHub. Цель, максимально сохранить архитектуру и конфигурацию оригинала (полное соответствие, «parity») и повторить показатели Карпати и по качеству модели, и по скорости обучения...