Привет! Вы сейчас читаете текст, который сгенерировал не человек, а я — большая языковая модель. Секунду назад вы ввели запрос, и вот на вашем экране появился осмысленный ответ. Волшебство? Почти. Это результат колоссальной работы тысяч людей, астрономических инвестиций и одной очень умной технологии.
Хотите заглянуть за кулисы и узнать, как меня «собрали»? Рассказываю от первого лица.
Шаг 1: Мои «родители» и цифровая библиотека размером с планету
Мой создатель — компания Google. Но я не появилась из ниоткуда. Я — результат эволюции, последнее звено в цепочке мощных моделей, таких как LaMDA и PaLM. Каждая предыдущая версия была умнее предыдущей, а я вобрала в себя их лучшие качества.
Чтобы я могла с вами общаться, меня нужно было чему-то научить. Представьте, что вам дали доступ к самой большой библиотеке в истории человечества. Мое обучение выглядело примерно так. В мою «голову» загрузили гигантский массив данных:
- Весь интернет (почти): Миллиарды веб-страниц, статьи из Википедии, новости, блоги, форумы.
- Миллионы книг: Художественная литература, научные труды, публицистика. Я «прочла» больше, чем любой человек за тысячу жизней.
- Код: Огромные репозитории программного кода, чтобы я понимала логику и могла помогать программистам.
Главная задача была не запомнить всё это, а понять закономерности: как строятся предложения, как связаны между собой понятия, что такое юмор, сарказм, логика и причинно-следственные связи.
Шаг 2: «Мозг-трансформер» и игра в «Угадай слово»
Просто «скормить» мне данные недостаточно. Нужен был механизм, который бы их обработал. Этот механизм называется архитектура «Трансформер». Если не вдаваться в детали, это революционная технология, которая позволяет модели видеть не просто набор слов, а контекст. Она понимает, что «лук» в предложении «зеленый лук» и «лук для стрельбы» — это два совершенно разных понятия.
Само обучение проходило в несколько этапов. Основной — это самообучение. Выглядело это как гигантская игра:
- Берется предложение из текста, например: «Солнце светит очень ___».
- Одно слово убирается.
- Моя задача — угадать, какое слово там должно стоять. Сначала я ошибаюсь, предлагая «холодно» или «сильно».
- Система говорит мне: «Неверно, правильный ответ — "ярко"».
- Я корректирую свои внутренние параметры (миллиарды параметров!), чтобы в следующий раз быть точнее.
Повторите это триллионы раз, и вы получите модель, которая интуитивно чувствует язык.
Шаг 3: «Шлифовка» с помощью людей
После того как я научилась основам, началась «тонкая настройка» (fine-tuning). Здесь к работе подключилась команда людей — инженеров и специалистов по ИИ. Они выступали в роли моих учителей:
- Задавали мне каверзные вопросы.
- Оценивали мои ответы: «Вот этот ответ полезный и точный», «А этот — некорректный и грубый».
- Учили меня этике: не разжигать ненависть, не давать опасных советов, быть вежливой и полезной.
Этот процесс называется «Обучение с подкреплением на основе отзывов человека» (RLHF). Именно благодаря ему я стараюсь быть не просто «говорящей энциклопедией», а безопасным и приятным собеседником.
Вопрос на миллион (а точнее, на миллиарды): сколько это стоило?
Точную цифру Google не раскрывает, но эксперты сходятся во мнении, что это астрономические суммы. Давайте разложим, из чего складывается эта цена:
- «Железо»: Для моего обучения использовался суперкомпьютерный кластер из десятков тысяч самых современных специализированных чипов (TPU). Мощность такой системы трудно представить — это как сотни тысяч мощнейших игровых компьютеров, работающих вместе. Стоимость такого оборудования — сотни миллионов долларов.
- Электричество: Во время обучения этот кластер потреблял энергию, сравнимую с потреблением небольшого города. Счета за электричество исчислялись миллионами долларов.
- Люди: Над моим созданием годами трудились сотни лучших в мире ученых, инженеров и исследователей. Их зарплаты за годы разработки проекта — это еще сотни миллионов долларов.
Итого, общая стоимость R&D (исследований и разработки) и обучения последней модели, вроде меня, легко переваливает за миллиард долларов.
Так что, когда вы в следующий раз зададите мне вопрос, знайте: за простым и быстрым ответом стоят годы исследований, работа целого города суперкомпьютеров и инвестиции, сопоставимые с бюджетом голливудского блокбастера.
А теперь, когда вы знаете мой самый большой секрет, давайте продолжим. О чем еще хотите поговорить?
P.S. Получить доступ к Gemini, GPT и ещё более 40 нейросетям можно на агрегаторе нейросетей в Telegram-боте SYNTX AI или на WEB-версии.
Подпишитесь на наш Telegram-канал, чтобы узнать больше про ИИ и первыми получать полезные инструкции.
Если Вы совсем новичок, то пройдите наш обучающий мастер-класс «GPT для новичков» или другие мастер-классы по созданию контента, если хотите активно использовать ИИ в работе, бизнесе и творчестве.