Как нейросети выбирают случайные числа и насколько они случайны? Чем их выбор отличается от выбора людей? Почему так происходит и стоит ли на основании этого очеловечивать нейросети? Ну и разберём, а что такое случайное число с точки зрения математики.
Сначала приятности
Но начну я с личных приятностей. У меня сразу две хорошие новости: о конкурсе и премии.
"Василиск Роки" в шорт-листе конкурса "Проект особого значения" (Заслон),
а роман "Открыть за две минуты до полнолуния" в лонг-листе премии «Новые горизонты"
"Василиск Роки" — мой первый опубликованный рассказ про ИИ (хотя в закромах моих черновых набросков чего только не лежит. Я всё ещё надеюсь разобраться со всеми своими незавершёнками и приступить к большому роману про ИИ. Задумке уже два года, но она всё время видоизменяется под влиянием того, что становится известно про нейросети. Тема эта мне очень любопытна, и я продолжаю следить за всем, что происходит в индустрии. Самой интересно, во что в итоге превратится моя задумка (надеюсь, это всё-таки произойдёт).
Случайные числа
Прежде чем перейти к нейросетям, сначала разберёмся, что такое случайное число с точки зрения математики. Ни в какие математические дебри мы не полезем, пройдёмся по самым верхам, за что сразу прошу прощения у математиков. Итак,
Случайное число — это число из определённого диапазона, у которого есть определённая вероятность выпадения.
Из определения вроде бы следует, что вероятность выпадения должна быть одинаковой для всего диапазона, иными словами, предсказать вероятность выпадения можно только случайно. Но это не так. Если дальше углубляться в те самые дебри, то мы узнаем, что распределения бывают разные и вычисляются довольно сложно. Но если мы просто будем условно случайно вынимать шарик из корзинки с номерами, то увидим, что чаще всего выпадают числа из середины диапазона.
А что же люди?
Люди не шарики, и совершенно не должны подчиняться каким-то там математическим определениям (ха-ха, тут мы вступаем на зыбкую тропу спора о том, является ли математика абстрактной выдумкой человеческого мозга, или её законы всегда существовали и являются основой нашего мира, а человечество всего лишь их считало).
Так вот.
- Люди избегают крайних значений диапазона. Если мы берём диапазон от 0 до 100, то это будет 0, 1 и 100.
- Чисел с повторяющимися цифрами (22, 33, 44 и т.д.)
- Чисел, кратных пяти (25, 35, 45 и т.д.)
- Круглых чисел (20, 30, 40 и т.д.)
- Стараются выбирать числа в диапазоне от 27 до 87, то есть в середине диапазона, не маленькие и не большие.
- Часто выбирают числа, оканчивающиеся на 7.
Всё это не означает, что нет людей, которые бы выбрали случайное число вопреки описанным выше закономерностям. Это означает, что на большом массиве данных (если взять большое число людей и попросить выбрать случайное число), тенденции будут именно таковы.
А нейросети?
Казалось бы, нейросети должны выбирать числа как раз с разной вероятностью, потому что у них человеческих «предубеждений» против чисел: это слишком маленькое, это большое, это слишком круглое, это никак не «тянет на случайное». То есть в отличие от людей, которые добавляют числам характеристик, нейросети должны вести себя более рационально.
Но нет. Нейросети выбирают случайные числа точно также, как и люди.
Но почему? Спросит внимательный читатель. Ведь есть специальные математические алгоритмы, которые позволяют выбрать случайное число, выпавшее с равной вероятностью.
Но у нейросетей нет вшитых алгоритмов. Они самообучаются на больших массивах данных, иными словами «наблюдают» за людьми и, получается, перенимают их… предубеждения?
Иными словами, нейросеть действует не по алгоритму выдачи случайного числа (условного рандомайзера), а смотрит, какие числа чаще всего выбирали люди на просьбу выбрать случайное число, и повторяли. То есть чем чаще называли люди то или иное число, тем чаще его называла нейросеть.
Так что же за результаты?
Эксперимент провела компания Gramener, специализирующаяся на анализе данных для решения сложных бизнес-задач.
В ходе эксперимента специалисты Gramener предложили нескольким крупным чат-ботам на базе большой языковой модели (LLM) выбрать случайное число от 0 до 100. Как оказалось, у всех трёх протестированных моделей было «любимое» число, которое всегда было их ответом в наиболее детерминированном режиме, и которое называлось чаще всего даже при более «высоких температурах» — настройке, которая увеличивает вариативность ответов модели.
Выяснилось, что модели OpenAI GPT-3.5 Turbo нравится число 47, хотя раньше ей нравилось число 42 — число, прославленное английским писателем Дугласом Адамсом в серии романов «Автостопом по Галактике». Модель Claude 3 Haiku компании Anthropic назвала число 42, а Google Gemini — тоже 42.
Что ещё более интересно, все три модели продемонстрировали человеческую предвзятость при выборе других чисел, даже при «высокой температуре». Все ИИ-модели старались избегать как небольших, так и больших чисел. Модель Claude 3 Haiku никогда не называла числа больше 87 или меньше 27, и даже это были отклонения. Чисел с двумя одинаковыми цифрами тоже старательно избегали: не было 33, 55 или 66, но назвали 77 (оканчивается на цифру 7, которую часто называют люди). Почти не было круглых чисел — хотя однажды Gemini при самой «высокой температуре» выбрала 0.
А подробнее про число 42 мы поговорим в следующей статье.
❓❓Как считаете, верное ли объяснение того, почему нейросети в выборе случайного числа ведут себя как люди?
❓❓Наблюдаете за развитием нейросетей?
❓❓Слышали про число 42?
❓❓Насколько подробно стоит рассказывать эту историю?
❓❓Как считаете, "любимое" случайное число 42 у нейросетей - это всё из-за Дугласа Адамса?
❓❓Читали "Автостопом по галактике"?
О случайных числах, нейросетях и людях вам рассказывала Есипова Оксана. Всех обнимаю!
Но не спешите уходить. Прежде чем выложить эту статью, в своём телеграм канале я попросила подписчиков написать любое случайное число от 0 до 100. Кстати, получилось весьма неожиданные результаты, и они плохо коррелируют с тем, что написано в статье. Понятно, что это потому что выборка маленькая, но всё равно интересно! Полюбопытствуйте сам, переходите по ссылке и подписывайтесь на канал. Есть и ещё причины на него подписаться:
😶🌫️ В описании канала есть ссылка для связи со мной, там я отвечаю быстрее всего (лучше писать туда, чем на почту, где письма могут затеряться)
😶🌫️На настоящий момент - телеграм самая свободная от цензуры площадка (это касается даже выкладки иллюстраций, остальные площадки могут банить условного Давида
😶🌫️Стараюсь размещать там ссылки на все материалы в разных соцсетях, в том числе новых, куда планирую идти. Вы ничего не пропустите.
😶🌫️Посты выходят каждый день
😶🌫️Много личного и самого-самого свежего
😶🌫️В телеграме я отвечаю на все комментарии, и это отличный способ пообщаться и даже найти новый друзей. Кстати, болталка от канала
Лучший способ узнать меня лучше - прочитать мои книги. Приглашаю вас на Литрес ❤❤❤ Я их писала специально для вас ❤❤❤
Кстати, у меня ещё одна шикарная новость. Мой дебютный роман "Опасная связь" стал лауреатом премии престижной "Русский детектив" в номинации "Дебют". Это невероятная честь для меня. Принимаю поздравления ❤️ Лучшая же награда для писателя - когда его читают ❤️ Буду рада вашим отзывам!
❤️❤️❤️ Жду вас ТГ | ВК | ОК ❤️❤️ Мои книги на Литрес с реф ссылкой