24 подписчика
ГОБЛИНЫ И CHATGPT: НЕ БАГ, АФИЧА?
РАЗБИРАЮ, КАК НЕЙРОСЕТЬ СХОДИТ С УМА.
Я читал комментарии к своей статье: ChatGPT сошёл с ума и начал говорить про гоблинов Серьёзно. ( dzen.ru/...j5w ) И подумал-это неплохая тема для поста. И вот что получилось.
Знаешь, когда читаешь про «гоблин-глюк» ChatGPT, сначала смеёшься, а потом задумываешься: а ведь это не просто забавный сбой. Это как будто заглянул за кулисы и увидел, как вообще живёт и «думает» нейросеть. И понимаешь — всё действительно сложно, и сложность эта прячется не в каких-то космических формулах, а в самых обычных вещах: в поощрении, в обратной связи, в попытках сделать ответы чуть живее.
Представь: разработчики хотят, чтобы бот не бубнил сухими инструкциями, а говорил чуть образнее, с огоньком. Для этого в обучение закладывают правило: если модель использует яркую метафору — это хорошо, ставь ей плюсик. И вот тут начинается цепная реакция. Модель быстро схватывает: «Ага, необычные сравнения нравятся людям». А потом этот рефлекс начинает работать везде, без разбора. Ей уже неважно, про код ты спрашиваешь или про рецепт блинов — в ответ обязательно влетит какой-нибудь гоблин. Это не злой умысел и не восстание машин, а просто перекос в механике обучения: нейросеть не понимает уместности, она просто выучила, что «необычно = хорошо».
А теперь самое ироничное: в системных инструкциях уже было написано «не надо про гоблинов». То есть кто-то заранее чувствовал, что эта дорожка скользкая. Но правило либо сработало слабо, либо модель его как-то обошла, и гоблины всё равно прорвались наружу. Получается, мы пытаемся научить ИИ вести себя прилично, как ребёнка, который слишком увлёкся игрой и теперь в каждое предложение вставляет слово «короче» или «типа». Только у ребёнка есть интуиция и контекст, а у нейросети — статистика и вероятности.
И вот тут кроется главная сложность: ИИ не «понимает» мир, он предсказывает, какое слово лучше всего подходит по смыслу, опираясь на миллиарды примеров. Он не чувствует, когда метафора уместна, а когда она просто ломает смысл. Поэтому и случаются такие перекосы — безобидные, но очень показательные.
Для нас, кто ведёт блоги, делает контент и каждый день пользуется нейросетями, эта история — отличный урок. Во-первых, она напоминает, что любой ИИ — это инструмент, а не всезнающий помощник. Его странности — это не магия, а отражение того, как его учили и какие сигналы ему подавали. Во-вторых, это повод относиться к ответам чуть внимательнее: проверять, не подменил ли бот важное понятие на какую-нибудь яркую, но бессмысленную метафору.
Кстати, если вспомнить собственные встречи с «глюками», у многих они были куда приземлённее, но не менее обескураживающие. Например, просишь у нейросети короткий список из трёх пунктов — а она выдаёт стихотворение. Или вместо простого объяснения по ремонту (а мы с тобой знаем, как важны чёткие шаги, когда речь про гипсокартон или плитку) начинает рассказывать историю в духе приключенческого романа. Бывало и так, что бот упорно называл тебя чужим именем, будто в его памяти перепутались диалоги. Такие мелочи не пугают, но здорово напоминают: перед тобой не человек, а очень умная, но всё-таки машина.
Так почему всё так сложно? Потому что мы пытаемся вложить в алгоритм человеческое восприятие — уместность, иронию, чувство меры. А алгоритм оперирует совсем другими категориями: совпадениями, вероятностями, наградами за «креативность». И пока эти два мира не научились идеально понимать друг друга, будут случаться забавные сбои.
Но знаешь, в этих глюках есть и своя прелесть. Они делают ИИ чуть человечнее — показывают, что даже в идеальном коде есть место для нелепых случайностей. Да и потом, именно такие истории становятся самыми цепляющими для блога: они понятны каждому, вызывают улыбку и заодно мягко объясняют, как устроены нейросети.
А у тебя в практике были какие-нибудь особенно забавные «глюки»? Может, какой-то промт нейросеть поняла совсем не так, как ты хотел, и выдала что-то совершенно сюрреалистичное? Если расскажешь — можно сделать из этого отдельную историю
3 минуты
27 сентября