Для тех кого не напугать словами loss, adam_8bit и подобным: В рамках свои экспериментов с файн-тюном мелких моделек нашел вот такую штуку: https://github.com/neurogen-dev/Chronicals Жутко быстрая штука, особенно под 40xx / 50xx видеокарты. А еще стабильнее unsloth. Сейчас прикрутил сверху ряд экспериментальных оптимизаций с ArhivX, если окажутся стабильными - обновлю в форк.