Мы для тестирования наших же ИИ (на наших серверах) используем вот этот бесплатный софт (как десктопное приложение). У него есть и платные тарифы, но если ИИ работает у вас, то достаточно бесплатного (чтобы подбирать промпты, например)...