Всем привет! В мире искусственного интеллекта произошло важное событие. И в этой небольшой заметке я постараюсь самыми простыми словами рассказать, что произошло.
Вчера 14.03.2023 компания OpenAI представила свою новейшую большую языковую модель GPT-4. По сути, GPT-4 — это модель, которая принимает на вход картинки и текст, а на выходе выдает текст, то есть это уже мультимодальная модель. Она по-прежнему является трансформером, который предсказывает следующий токен. Модель GPT-4 — это модель языка картинок, обученная методом обучения с подкреплением на основе обратной связи от людей (RLHF — запомните это сокращение). Это метод, который предполагает обучение модели машинного обучения путём вознаграждения её за хорошую работу.
Сегодня мы знаем, что модель поставляется в двух версиях: с окном для 8000 токенов и с окном для 32 тысяч токенов. Стоимость использования GPT-4 зависит от того, какую версию вы выберете: в версии с меньшим окном цена составляет 0.03 доллара за 1000 токенов в диалоговом режиме и 0.06 доллара за 1000 токенов в генерации. Версия с большим окном стоит 0.06 долларов за 1000 токенов в диалоговом режиме и 0.12 долларов за 1000 токенов в генерации. Стоит отметить, что стоимость предыдущей лучшей языковой модели, GPT-3, составляла 0.02 долларов за 1000 токенов.
К сожалению, об архитектуре GPT-4 не так много информации из-за соображений безопасности (и, скорее, из-за страхов компании OpenAI относительно конкурентной борьбы). Это невероятно мощная модель, а с большой мощью приходит большая ответственность. Компания OpenAI решила держать многие детали модели в секрете, чтобы предотвратить злоупотребления.
Также стало известно, что модель GPT-4 продемонстрировала производительность на уровне человека на различных тестах. Эти тесты включают симуляцию экзаменов, проводимых человеком, и модель была тщательно протестирована на различных эталонных тестах. Модель GPT-4 также продемонстрировал хорошую производительность в широком ряде языков, в некоторых случаях превосходя модель GPT-3.
Стоит отметить, что модель GPT-4 не является панацеей и всё ещё имеет некоторые недостатки. Иногда он придумывает факты и допускает ошибки в рассуждениях (специалисты в области ИИ называют это «галлюцинациями»). Однако она значительно улучшена по сравнению с предыдущей моделью — GPT-3.5. Модель GPT-4 лучше откалибрована и лучше следует человеческим намерениям, чем модель GPT-3.5, на базе которого работает ChatGPT.
В целом, модель GPT-4 представляет собой захватывающий сдвиг парадигмы в оценке моделей. Это первая большая языковая модель, продемонстрировавшая производительность на уровне человека в различных тестах, и её способность хорошо работать с языками, отличными от английского, особенно впечатляет. Хотя мы не знаем всех деталей архитектуры GPT-4, ясно, что это модель обладает огромным потенциалом. Ждём её появления и открытия доступа широким массам пользователей.
#ИИ #GPT #ChatGPT