Часть 2. Архитектура: дом без перепланировок и «кухня» обучения
Начнем с базы. Самое интересное: архитектура, то есть «план», по которому проектируются модели, почти не менялся с 2019 года (времена GPT-2). Никаких больших научных открытий с тех пор не было.
Все улучшения — это работа с деталями. Аналогия: дом, в котором периодически делают косметический ремонт и покупают новую мебель, но фундамент никто не трогает. Мы выжимаем максимум из идей семилетней давности. И ждем новых.
⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯
Как «воспитывают» нейросети: от интернет-форумов до диссертаций
Расскажу немного об этапах обучения языковой модели:
1. Pre-training (Предобучение). Я думала, что это что-то вроде «запихнуть в модель весь интернет». Отчасти так и есть, и часть информации забывается, как и у людей при обучении. Но еще на этом этапе идет жесткая фильтрация. Например, посты с Reddit (огромный англоязычный форум, где обсуждают всё — от квантовой физики до рецептов пирогов) специально очищают от орфографических ошибок и мата. Если этого не сделать, обучение выйдет в разы дороже — модель не сразу поймет, что ошибки не являются нормой.
2. Mid-training (Дообучение). Этап, на котором модель «шлифуют» на более качественных данных. Разработчики охотятся за PDF-файлами с научными статьями и диссертациями. Это «элитная еда» для мозга нейросети, которая учит её логике и экспертному стилю.
3. Post-training (Постобучение). На этом этапе живые люди учат модель быть помощником: не хамить, быть аккуратной с советами. Помните, когда ChatGPT предлагает два варианта ответа и просит выбрать лучший? Это и есть часть постобучения — мы сами помогаем ИИ понять, какой ответ качественнее. Сейчас здесь проводится больше всего экспериментов, результаты которых мы видим в новых релизах.
4. Inference scaling (Масштабирование на этапе вывода). Это прорыв 2024–2025 годов. Модели позволяют «подумать» подольше над нашим промтом, исправить саму себя в процессе размышлений, создать десяток вариантов ответов и самой выбрать лучший. Это работа в режиме Deep Thinking — так называемые «думающие модели». Если раньше они отвечали импульсивно, то теперь выстраивают длинные цепочки рассуждений.
⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯
Почему «краткое содержание» — это ловушка
Лекс проводил эксперименты: просил ИИ сделать пересказ страницы текста... на одну страницу. И остался недоволен. Наверное, в первую очередь потому, что «главное» может быть для каждого разным. В том же подкасте для кого-то интереснее всего предсказания, для кого-то технические детали, а для других — карьерные советы.
Мне это напомнило школьные времена, когда часть учеников не читала книги из списка литературы, а просто покупала одну тоненькую книжку с кратким пересказом всех произведений. На проверочные работы знаний хватало. Но отличие слога Достоевского от слога Толстого оставалось загадкой.
Что с этим делать?
Указывайте детали: если просите нейросеть сделать краткий вывод из статьи, всегда четко пишите свою роль и на что обратить внимание (например: «Я — HR, выдели в этом тексте только советы по развитию карьеры»).
Не бросайте оригиналы: важные вещи лучше пробежать глазами целиком (или хотя бы посмотреть полную расшифровку). Только там сохраняются нюансы, которые ИИ может отсеять как «лишние».
Уже не первый раз слышу мнение, что со временем ценность оффлайн-событий и личных встреч будет только расти. Когда любую информацию можно мгновенно сжать и растиражировать, самым дефицитным ресурсом становится живой опыт и общение без фильтров. Это про доверие и энергию, которую никакой ИИ пока не научился упаковывать в короткие тезисы.
⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯
В следующей части обсудим психологию: почему мы начинаем видеть в ботах личность и заменит ли ИИ программистов (спойлер: мой опыт в Antigravity говорит, что всё к тому и идет).
Ловили себя на мысли, что после прочтения краткого пересказа всё равно остается ощущение, будто что-то важное ускользнуло? Расскажите, как вы читаете большие тексты — доверяете помощникам или любите изучать всё сами? В комментариях обсудим. И ставьте 🔥, если ждете продолжение!
