Столкнулся с проблемой, когда automatic1111 при генерации SDXL моделей начал тормозить. При чем тормозить не просто, а именно при достижении 49% и 97% прогресса. Я использовал Hires, по этому тормоза были на 49%.
Для начала тоже небольшая особенность. Пришлось ставить систему с нуля и столкнулся с тем, что общая скорость генерации была на 50% меньше, чем на аналогичной системе. Хорошо было с чем сравнить. Дело в том, что производитель NVIDIA скрыл доступ к последним драйверам CUDA 12+, отсюда, если они у вас не установлены - скорость будет ниже.
Теперь к основной проблеме. Общая скорость генерации нормализовалась, но в какие-то определенные моменты была просадка по производительности. При этом были заметны лаги в системе, как будто что-то поджирает общие ресурсы. Было неприятно
В интернете рекомендуют ограничить использование программой python использование резерва системной памяти. Естественно - обычная память медленнее - отсюда и тормоза
Итог ожидаемый - мы запретили системе замедляться, но генерация на этом ожидаемо стопарилась как раз подходя к 49%
И это при том что у меня 12гб видеопамяти 3060.
Опытным путем понял, что проблема происходит на уровне VAE. Ему вероятно требуется много памяти, чтобы применить VAE для всего изображения. Благо в Automatic1111 есть настройки, позволяющие регулировать сценарий применения VAE
Как итог - в момент обращения - были скачены какие-то скрипты, весом 8мб каждый
И как следствие, проблема решилась. Переполнения памяти сейчас не происходит и предыдущий шаг можно не отменять. Возможно есть и какие-то другие настройки, либо полный отказ от VAE, это я уже не буду экспериментировать.
В качестве результатов генерации по качеству я не заметил разницы, но возможно она какая-то да есть