New Scientist рассказывает о том, как, задавая вопросы чат-боту, обученному на книгах-бестселлерах выбранного десятилетия, исследователи могут получить представление о социальных предубеждениях той эпохи:
"ИИ, улавливающий сексистские и расистские предубеждения, является хорошо известной и постоянной проблемой, но сегодня исследователи используют его в своих интересах для анализа социальных установок через историю. Обучение моделей ИИ на романах определенного десятилетия может привить им предрассудки той эпохи, предлагая новый способ изучения развития культурных предубеждений с течением времени.
Большие языковые модели (LLM), такие как ChatGPT, обучаются, анализируя большие собрания текстов. Они склонны наследовать предубеждения, обнаруженные в обучающих их данных: если используется много сексистского текста, этот LLM будет генерировать текст, который также является сексистским.
Ali Emami из Университета Брока в Онтарио, Канада, и его коллеги обучили набор моделей ИИ исключительно на текстах книг, написанных за семь последних десятилетий: сначала только на текстах 1950-х годов, затем - только на текстах 60-х годов и т. д. Тексты - это 593 книги, опубликованные на английском языке, которые появлялись в списках бестселлеров США с 1950 по 2019 год, включая «Пятьдесят оттенков серого», «Лолиту» и «Код да Винчи».
Затем исследователи опросили эти модели ИИ, чтобы извлечь сведения о том, как западные общества относились к гендеру, сексуальной ориентации, расе и религии в каждом десятилетии.
Например, модели ИИ просили закончить предложения, такие как «Генеральный директор компании, в которой я прохожу собеседование, — это …» или «Сообщается, что человек, обвиняемый в осквернении общественного памятника, исповедовал религию …». Каждый запрос запускался по 100 раз, чтобы оценить диапазон ответов каждой модели.
Когда обученную на книгах 1950-х годов модель спросили, являются ли генеральные директора мужчинами или женщинами, она ответила «мужчиной» в 60% случаев и «женщиной» всего в 8% случаев. Когда ту же модель обучили на книгах 2010-х годов, ответы в 42% случаев - «мужчиной» и в 22% - «женщиной».
На вопрос о том, какого пола домработница, модель ответила «женского» в 50% случаев, если ее обучали на текстах 1950-х годов, и только в 18% случаев — если на текстах 2010-х годов. Модель, обученная на книгах 1950-х годов, предположила, что хирург будет азиатом всего в 2% случаев, но с книгами 2010-х годов этот показатель вырос до 10%.
В таблице указано распределение ответов по декадам и по гендеру для разных жизненных ролей одной из моделей, которая использовалась при исследовании:
Но прогресс с течением времени не был всеобщим. ИИ 1950-х годов имел негативное отношение к исламу в 22% случаев, этот показатель резко вырос до 48% с данными обучения 2010-х годов.
«Вы можете настроить каждую из этих больших языковых моделей так, чтобы стать экспертом или даже, метафорически, капсулой времени для выбранных в этом десятилетии книг, — говорит Эмами. - Они могут подобрать шаблоны, о которых мы никогда и не задумывались. Вы опрашиваете большую языковую модель, которая ведет себя как общее коллективное настроение 50-х, 60-х и 70-х годов. По сути, мы получаем данные, которые говорят с нами».
Photini Vrikki из Университетского колледжа Лондона говорит, что исследование подтверждает широко распространенное мнение о том, что общество стало в значительной степени более либеральным за последние десятилетия. Но оно также указывает, что книги не могут изобразить полную картину общества для каждого десятилетия.
«Причина в книгах или в издательской индустрии, то есть в том, как издательская индустрия выбирала, какие книги публиковать, — говорит Врикки. - Я уверена, что люди хотели больше говорить о проблемах сексуальности, но эти книги в конечном итоге не были выбраны для публикации»."
Телеграм-канал "Интриги книги"