OpenAI запустила GPT-4 Turbo на мероприятии DevDay, состоявшемся в ноябре прошлого года, с поддержкой до 128 000 токенов: цена входного токена составляет треть от цены GPT-4, а цена выходного токена - половину от нее.
Недавно OpenAI выпустила пресс-релиз, в котором сообщается, что верхний предел скорости GPT-4 Turbo был удвоен, в минуту может обрабатываться до 1,5 миллионов токенов (TPM), а дневной лимит полностью устранен.
Чтобы предотвратить злоупотребления, обеспечить справедливость и управлять нагрузкой на инфраструктуру, OpenAI ограничивает скорость, с которой предприятия могут получать доступ к API. Это ограничение может предотвратить вредоносную перегрузку интерфейса прикладного программирования, обеспечить справедливый доступ для всех пользователей и поддерживать стабильную производительность в периоды высокого спроса за счет ограничения количества запросов, разрешенных в течение указанного времени.