Так, ну поехали.
Вчера прошла Open AI конфа. Там не было таких красивых презентаций как у Apple, но вот то, что они там рассказали весьма и весьма интересно для мира AI.
Давайте по полкам.
Если ChatGPT только для души
Если вы пользовались ChatGPT через веб-мордочку, так сказать, для личных нужд. Вот что для вас изменится:
- Ну наконец-то пропадут эти страшные переключения контекстов. В какой-то супердревней книжке по UX умный человек написал – режимы это плохо! Если вы должны что-то включить, чтобы начать работать со штукой 1, а потом переключить что-то чтобы начать работать со штукой 2 – это плохо, это естественным способом приводит к ошибкам пользователей. Наконец-то справедливость восторжествовала!
- Если вы активно пользовались GPT-4, то могли встречаться с надписью, что тебе пора пойти покурить часа 3, т.к. твоя квота израсходована. Поздравляю, теперь квота x2.
- Знания обновятся до апреля 2024.
- Ещё в сайдбаре появятся ваши новые друзья (чатботы с разной спецификой), но про это отдельно...
Если API OpenAI ваше знакомое и любимое
Если вы все же чаще пользовались OpenAI через API, то вот ваш списочек:
- Поддерживает и текст, и картинки. И на вход и на выход.
- 128К контекста (это примерно 300 страниц на английском)
- Те, кто уже добрался отмечают просто лютую скорость ответа
- Доступна только тем пользователям, которые уже успели что-то заплатить за API
- Все стало дешевле. Абсолютно все популярные модели. Просто именины сердца какие-то.
- Ребята дали кое-что для лучшей управляемости (тут правда очень болело, добиться от GPT стабильного результата в том формате, который тебе нужен прямо шаманская процедура):
- JSON mode – теперь можно быть уверенным, что ответ вернется валидным (!) json, без упрашивания в промте и со 100% вероятностью
- Reproducible outputs – стабильно повторяемый ответ. Просто добавьте в запрос сид с любым числом и получайте стабильно один и тот же результат по этому сиду (если конечно не вздумаете поменять промт или температуру)
- Улучшенный function calling. Здесь не новая функция, но многие про неё не знают. Это возможность вызывать какой-то внешний API по результатом работы модели (например, отправить письмо, запустить процесс TTS или что-угодно ещё). Раньше именно её было удобнее всего использовать для получения валидного JSON.
- Обещают log probabilitie, но попозже. Полезно, например, чтобы делать автокомплиты в поиске. - Появится fine-tuning для GPT-4 (причем именно 4, насколько я понял, а не 4 Turbo; т.е. без новых фишек в API)
- Обновленная модель для распознавания речи Whisper V3
- Защита от всех косяков моделей при судах (что-то подобное уже раньше предлагало несколько компаний)
Есть ещё новое Assistants API, но про него я отдельно расскажу.
Если зашло – приходите в телеграм канал, там много разных материалов по теме. В основном для продуктовых команд, которые строят AI продукты.