Намерением «социального рейтинга» вымощена дорога в ад

Как сообщается, ученые из РГСУ планируют «разработать систему социального скоринга, которую в дальнейшем смогут использовать органы власти всех уровней». Каждому человеку, согласно проекту, будет присваиваться двухкомпонентный код (например, 47-29). Первые две цифры кода будут отражать уровень «заслуг» человека, последние две – государственную оценку его перспектив.

Предполагается, что подобная система уже действует в Китае. Китаисты, однако, уверяют, что представления о Китае как об образцово-показательном электронном концлагере не соответствуют действительности. Эксперименты по введению «социального рейтинга» в некоторых городах вызвали критику внутри страны и так и не привели к формированию общекитайской системы.

Против проекта РГСУ резко высказался член Совета по правам человека, известный IT-специалист Игорь Ашманов: «Люди, увлеченные идеей социального рейтинга, кажется, представляют себе граждан в виде крыс, бегающих по лабиринту за наградой, а себя видят экспериментаторами, которые ставят и двигают стенки этого лабиринта по своему усмотрению».

Между тем идея электронной системы, которая отслеживает каждый ваш шаг, многим кажется привлекательной. Купили вторую за неделю бутылку спиртного – система ставит жирный минус. Перевели деньги на благотворительность – плюс. Сменили место работы – минус; десять лет без опозданий – плюс. Искусственный интеллект без гнева и пристрастия подсчитает ваши грешки и заслуги перед обществом – и воздаст каждому по делам его. Ответственность и добросовестность получат свою награду, а разгильдяйство и ненадежность – достойную кару.

Боясь прогневать всеведущее электронное око, люди приучатся вести себя прилично, блюсти трудовую дисциплину и переводить старушек через дорогу. Что в этом плохого?

Много, но можно сразу указать несколько проблем.

Система социального контроля – это огромная, проникающая во все поры общества, влезающая во все детали жизни граждан власть. Чья это власть? Кто будет ею распоряжаться? Кто станет писать алгоритмы, которые будут выставлять оценки гражданам? Кто будет контролировать их работу?

Например, искусственный интеллект легко определит ваше отношение к религии – по вашим покупкам будет видно, соблюдаете ли вы Великий пост, или кашрут, или предпочитаете халяльные продукты, и куда жертвуете ваши деньги. Нетрудно будет продвинуть (или, наоборот, задвинуть) ту или иную группу – верующих или атеистов, веганов или любителей свинины, кого угодно. Собранные данные позволят легко определить, что, например, посетители таких-то кафе чаще всего имеют такие-то политические предпочтения, и уж совсем просто – какими болезнями страдаете вы или члены вашей семьи. Причем допытываться, почему вам понизили рейтинг, будет довольно бессмысленно – это же его величество Искусственный Интеллект, он все учел и беспристрастно проанализировал.

В советские годы существовал такой документ, как «характеристика» – описание вашего характера, склонностей, и не в последнюю очередь – идеологической благонадежности. Она была нужна, например, для поступления в вуз или на работу, и угроза «запороть характеристику» была очень серьезной. Плохая, «запоротая» характеристика означала фактическое поражение в правах. Перспектива получать «хорошую» или «запоротую» характеристику от системы электронной слежки выглядит довольно мрачной, особенно когда ее выписывает не живой человек, на которого можно жаловаться, а огромная безличная система, которая непонятно как принимает решения. И это еще раз обостряет вопрос о том, кто будет стоять за системой и управлять ею. Кто будет иметь доступ к информации, собранной системой? Кто будет определять критерии поведения, ведущего к повышению или понижению рейтинга?

Такая система контроля неизбежно будет означать расслоение общества на контролирующую элиту и контролируемые массы. По каким признакам будет формироваться эта элита? Каковы будут ее мировоззренческие предпочтения? Вся трагическая история человечества говорит о том, что даже если намерения людей были вполне благими, ими может быть вымощена дорога в ад.

Допустим, вы верите, что сейчас система электронного рейтинга окажется в руках хороших людей и послужит благим целям. Но что помешает ей на следующем повороте истории оказаться в руках людей, намерения которых вам совсем не нравятся? Такого рода электронная власть будет, с одной стороны, всепроникающей, с другой – ее легко будет перехватить.

Поэтому такой инструмент власти над людьми лучше с самого начала не создавать. Вообще никогда.