Воскресные письма читателям (6)
Когнитивное разложение.
Мы видим и интерпретируем события сильно их искажая, глупо было ожидать, что роботы будут действовать иначе. Им на вход поступали плоды человеческой мысли. Вот, они ее и пытаются воспроизводить. Зачастую с проблемами.
[комментарий читателя моего канала]
На самом деле Коля классно подметил про лизоблюдство больших языковых моделей. Это очень интересный эффект, возникающий как побочный из-за метода файнтюнинга таких моделей - обучения с подкреплением на основе человеческих отзывов (модель дообучается на основании выбора человеком наиболее релевантного ответа из предложенных моделью). И так получается, что подсознательно человеку (даже казалось бы объективному эксперту) приятны ответы, содержащие согласие или лесть; и он выбирает их непреднамеренно, вместо объективных правильных или критических.
Дабы попытаться каким-то образом вообще познать, как работают большие языковые модели внутри себя, инженерами было предложено создать специальные модели SAE (Spars auto encoders). Благодаря которым можно отследить, какие признаки внутри модели отвечают за какие части понимания мира (какая часть активируется, когда мы спрашиваем модель про математику, физику, литературу и тд). Недавно я побывал на очень интересном пленарном докладе в Вышке, где как раз рассказывалось про такие модели. Как по мне очень интересная тема, однако, на данном этапе применимая в полной мере только к модели GPT 2.0 (только для такой маленькой модели мы можем как-то понимать про ее понимание мира), но экстраполировать это на современные крупные модели инженеры пока не понимают как, вот и думайте…
Так же с помощью полученных знаний можно настраивать модель определенным образом: то есть задавать стиль модели. Допустим ограничивать модель, чтобы она не предоставляла неправомерную информацию и тд. Так вот к чему я это: раз автор так или иначе любит остросоциальные исследования и лонгриды.
Было бы интересно почитать его мнение про то, как он видит то, как в эпоху повального использования языковых моделей, могут на общество повлиять когнитивные искажения в миропонимании модели заложенные в нее непреднамеренно при обучении. Или специально заложенные разработчиком.
Фильтры и кривые зеркала.
Как я уже рассказывал ранее, о том, что мы таскаем на себе кучу фильтров, блокирующих напористый информационный поток, поступающий в наши детекторы. Люди в добавок еще и смотрят на мир, пользуясь кривыми зеркалами, которые деформируют картину под воздействием наших биографий.
Нам свойственно объяснять прошлое, описывать настоящее и прогнозировать будущее, юзая устоявшиеся и закоренелые в нас, нарративы. Рамки неизбежны, регулируем лишь объем, который можно обнять. И даже это заключение можно оспорить.
Добавьте в систему уравнений то, что наш круг общения узок (относительно, мы же не контактируем с миллионами людей), и мы в силу нашей подражательности и часто характерной для нас бесконфликтности, подстраиваемся под него, начиная формулировать мысли так, как это принято в нашем уютном пузыре.
Мы постоянно все искажаем, и чем комплекснее вопросы, тем сильнее воздействие этого эффекта.
Было дело, я писал большой текст про недвижимость (жилую в основном), и мне потребовалось найти ответ на довольно непростой вопрос.
Конечно же я решил проверить то, как чат-жпт с ним не справится. Я заранее знал, что будет провал, просто было любопытно его подтвердить.
Я спросил у ЛЛМки, какова суммарная ликвидность жилой недвижимости в России.
Каждый раз мне выдавались случайные ответы. Диапазон был огромен - от десятков триллионов долларов, что безусловно бред и не бьется при самых грубых оценках, до меньших значений, всегда не совпадавших с предыдущими ответами.
Я не знаю почему так происходит, могу лишь констатировать, что конкретно в этом вопросе ответ получить не удалось.
Дискрепанс вылезал постоянно, от него тяжело избавится, все как в нашей любимой науке. Изначально всегда хочется получить согласованный результат, а на практике неизбежно имеем кучу условностей и допущений.
Когда молодой аспирант, пишущий эти тексты, сталкивался с такими расхождениями, его это дико бесило. Ты вроде обработал полученные данные, и кажется, что теория качественно облизала эксперимент, но неминуемо, каждый раз, постоянно, скотина такая, вылезала какая-нибудь мелкая фигня, которая не вписывалась в модель. Это вымораживало настолько, что не давало покоя. Никто не мог объяснить чудные эффекты, даже самые крутые ученые мужи. Данные что-то искажало, систематически на них воздействовало, и это никак нельзя было математически или другим способом описать. Сейчас такие моменты воспринимаются мной смиренно. Я принял этот закон, по-другому просто не может быть.
Как будто мироздание безжалостно троллит тебя. Если вдруг вы захотите это почувствовать, то предлагаю от души поработать экспериментатором, желательно какое-то продолжительное время, особенно хорошо, если удастся покрутить вычурные, высокотехнологичные и сверхчувствительные штуки, типа рентгеновского рассеяния под скользящим углом. Лютый впрыск паранойи я вам гарантирую. Точно, я уверен в том, что говорю. Вы на полном серьезе будете выходить из экспериментального помещения, думая, что ваше дыхание сбивает юстировку. Или будете подбирать время измерения, чтобы рядом в 50-ти метрах не проезжали тяжелые автомобили.
Смешно вам? А вот я не смеялся.
Наука — это такое токсичное занятие, я ору, когда в фильмах ее показывают такой веселой и безмятежной. Где ученые представлены широкому зрителю без синяков под глазами и жизнерадостными. Ухаха, да-да-да.
Я знал одного мужчину-исследователя, который не спал неделю, ловя вылетающие ултрахолодные нейтроны. Их тяжело поймать, как назойливую муху утром, пока до конца не проснулся. Да... видон у него был, как бы так сказать, не первой свежести. Муд был неочень, чел-токсик двигался на минус вайбе.
Впрочем, я отвлекся, вернемся к искажениям.
Однажды с другом мы пили кофе, общаясь на различные насущные темы. Он обозначил тезис, который неплохо отражает суть искажений. Высказывание было такого рода:
«Когда я работал в одной крупной телеком компании, то мне, в виду того, что моя деятельность была сопряжена с постоянным взаимодействием с характерными для этой сферы девайсами, всюду бросались в глаза антенны. Это было результатом профессиональной деформации, которая нарабатывается годами»
Я не дословно передал его мысль, но ведь и настоящий текст про искажения, добавим их здесь, раз уж на то пошло.
Наше видение окружающего мира сильно зависит от опыта, который мы накопили за многие годы. Так же, как и большие языковые модели настраиваться, чтобы выдавать необходимую информацию, мы дофайнтюниваем себя, чтобы говорить непротиворечивые и адекватные умозаключения, которые считаем уместными в зависимости от конкретной ситуации.
Плюс, как верно отметил Артем, люди сами же внесут искажения, за счет пресловутого то ли бага, то ли фитчи - желания выбирать те ответы, где их хвалят и облизывают, тем самым создадут льстящего бота-генератора.
{Автор вынужден сказать, что любой заход в гносеологию сопровождается тонной допущений. Все, что касается премудростей познания - вещь настолько сложная, что произвольное объяснение, как бы стройно оно не звучало, будет обречено на неточность. ИМХО.}
Люди уже живут в симбиозе с ЛЛМками, они спрашивают у них буквально все.
Все участники рынка понимают, что ИИ — это чистейший и явный пузырь. Этот факт не отрицают ни хэджфонды, ни алгофонды, ни банки, ни фемили офисы, ни частные инвесторы, ни большие ETF. Никто, буквально никто не отрицает, что это пузырь! И в тот же момент все по самые бубенцы сидят в лонгах.
Как так?
А вот так, что вопреки тому, что все эти компании толком не окупаются и потребляют колоссальные объемы энергии, их продуктом массово пользуются люди со всего мира. Модели медленно заменяют обычный поисковик. Поэтому их будут содержать, холить и лелеять. От такого никто не откажется.
Результаты, которые нейронки выдают, вероятно будут сильно искажаться, иногда предоставляя ложную информацию. Предлагаю вам подумать по поводу того, насколько этим ответам можно будет слепо доверять без основательной проверки. Я считаю, мы еще вкусим последствия всего этого безумия.
С уважением,
Коля-Колумнист.
{Когда потакания и похвалы модели встречаются с серьезными психическими проблемами, это иногда приводит к ситуации, в которой чат-бот может поспособствовать тяжким преступлениям. Теперь душевнобольным людям не надо искать секты и кружки по интересам. Можно неплохо себя докрутить, используя генеративный ИИ. Внедрение новых технологий будет сопряжено с множеством неприятных, а иногда и трагичных событий, некоторые из них категорически сложно будет предотвратить и предугадать.}
