Вся логика ChatGPT построена на языковой модели. Если по-простому, это предугадывание следующего слова в предложении, Т9 работает точно так же. Но, в отличие от Т9, ChatGPT - это LLM (large language model), то есть большая языковая модель.
Есть и другое отличие трендовой нейронки от Т9. Последний предсказывает следующее слово исходя из слов, которые ранее печатали вы. А ChatGPT, в свою очередь берет на вход слова, которые он ранее писал сам в предложении, и учитывая их, выдает следующее. То есть она (нейронка) строит предложения, и даже целые тексты, по одному слову, опираясь на ранее написанное ей же самой.
Сам ChatGPT основан на технологии GPT (generative pre-trained transformer). Эта разработка позволяет держать в памяти нейросети большое количество информации. До использования этой технологии скармливание больших текстов нейросети было невозможным, они просто не могли запомнить и обработать так много информации.
Эволюция GPT
На Википедии есть интересная табличка для тех, кто хочет разобраться во всех вышедших версиях GPT:
GPT-1 был чуть лучше Т9 и мог всего лишь угадать следующее слово, а вот следующий за ней GPT-2 уже был способен написать читаемое эссе, которое очень сложно отличить от написанного человеком. Это было достигнуто за счет увеличения объема данных, на которых училась нейросеть, и увеличения количества параметров, используемых для предсказывания слов.
При разработке GPT-3 количество этих самых параметров увеличили уже в 116 раз в сравнении со второй версией. Третья версия сама обучилась переводить тексты с разных языков и сильно продвинулась в математике. Парадоксально, но третья версия нейронки занимает около 700 Гб, а текст, на котором её тренировали всего 570 Гб. То есть GPT-3 смог усвоить больше информации, чем ей скормили разработчики при обучении.
Некоторые в таблице могут заметить странный GPT-3.5. Это доработанная третья версия нейронки, которую усовершенствовали с помощью оценки её ответов живыми людьми.
Прогремевший же на весь мир ChatGPT - это такой же GPT-3.5, только с прикрученным к ней удобным интерфейсом диалогового окна, как в мессенджере.
Если вам было интересно читать статью, можете подписаться на мой tg канал - https://t.me/andropovit