Приготовьтесь услышать то, что, возможно, вы не знали: прародитель современного Chat GPT – это Т9 из вашего телефона 2000-х годов. Обе эти технологии называются языковыми моделями и по сути они обе “угадывают”, какое следующее слово должно идти за предыдущим. Современные ИИ представляют собой LLM, то есть большие языковые модели с огромным количеством параметров. Они генерируют тексты по принципу “слово за словом”: то есть после генерации каждого нового слова модель “прогоняет” через себя весь предыдущий текст и выдает продолжение.
Посмотрим, как развивалась технология:
- Т9 из конца 90-х- начала 2000-х гг: ускорение набора вводимого текста за счет предположения текущего слова;
- Т9 из 2010 г: учитывание контекста (предыдущего слова), расстановка пунктуации, выбор уместного следующего слова и автозамена (вспомните, сколько раз она вас “подставляла”);
- GPT-1 из 2018 г :изобретение трансформера – универсального механизма, принимающего на вход один набор последовательностей и преобразующий его по определенному алгоритму. Он строил связи “слово за словом” на внушительных объемах, не забывая весь объем данных;
- GPT-2 из 2019 г: модель превзошла предшественника по объему тренировочных текстовых данных и по числу параметров в 10 раз и отличалась способностью к самообучению;
- GPT-3 из 2020 г: превзошла вторую модель в 116 раз по количеству параметров: включала в себя огромное количество текстовых, фото- и видеоматериалов, энциклопедий и т.п, легко справлялась с переводами, решением математических задач, базовым программированием;
- Instruct GPT или GPT-3,5 из января 2022 г: отличительная особенность – дообучение на основе обратной связи с человеком: модель научилась “подгонять” ответы под потребности, ожидания и интересы людей;
- Chat GPT 4 из ноября 2022 г: модель стала удобной для пользователя благодаря удобному интерфейсу “диалогового окна” и обрела публичный доступ.
Надеемся, материал был для вас интересным: подписывайтесь на блог “Tiger sms”, чтобы оставаться в курсе дальнейшего развития нейросетей, и безопасно регистрируйтесь в Chat GPT с помощью виртуального номера.