У нас вот такая штука работает для генерации текста с помощью ИИ. Пока тестируем правда, но она помогает. Вы сами почитайте, если увлекаетесь ИИ, не буду вдаваться в детали. Если коротко - некий программный ускоритель - запускатель для llama. До 800 токенов в секунду можно выжимать :) Носит гордое название "Афродита" (хрен знает почему :)...