Автор: Константин Кичинский, Technical Evangelist в Microsoft
Telegram: https://t.me/quantumquintum
Blog: https://outofline.ru/
Как-то мне довелось выступать перед аудиторией HR-ов и причастных к профессии. Рассказывали про искусственный интеллект: чатботы, компьютерное зрение и вот это всё. Я же собрал небольшой материал про неприличные и не только вопросы в этом разрезе — в основном без ответов, потому что их просто еще нет. Ниже его текстовая интерпретация в свободной форме и с расширениями.
На всякий случай, нет — я не являюсь специалистом по работе с кадрами, и да — я смешиваю в статье различные подзадачи вроде рекрутмента и обучения, потому что с точки зрения ИИ они будут обязательно связаны.
ИИ грядет. Точка.
Насколько мы хороши?
We looked at tens of thousands of interviews, and everyone who had done the interviews and what they scored the candidate, and how that person ultimately performed in their job. We found zero relationship. // Laszlo Bock, Senior Vice President for People Operations at Google — NYTimes
В 2014 Лазло Бок (Laszlo Bock) из Google дал в NYTimes достаточно большое и интересное (то есть рекомендую к прочтению целиком) интервью по следам исследования о процессах найма и управления кадрами внутри компании.
Одна из вещей, которую они обнаружили — это то, что между тем, кто проводил интервью, тем, сколько баллов человек набрал на собеседовании, и тем, как в последствии нанятый человек работал, нет никакой связи. Никакой.
Это, конечно, наводит на множество вопросов, например, а действительно человек настолько хорош в оценке людей? Правильные ли вопросы мы задаем на таких собеседованиях? (Google впоследствии поменял подходы к проведению собеседований в сторону т.н. поведенческих вопросов, и я вижу аналогичные сдвиги по индустрии.) Хорошо ли мы делаем первичный скрининг по резюме и на те ли параметры обращаем внимание?
Мой следующий вывод может показаться неочевидным, но все они, в конечном счете, сводятся к одному: а не стоит ли заменить человека на машину в рекрутменте? Тут самые смелые, конечно, соглашаются, но сразу с оговорками, мол все же есть такие (sic!) должности, когда без человека никак. Совсем никак.
А я вот, например, интересуюсь, а как будет выглядеть работа HR в условиях постоянной пересборки коллективов под различные проекты, включая динамичное подключение фриланса? И один из ответов — в том, что HR будущего как раз управляет рекрутирующим ИИ. А для этого он должен уметь это делать…
Про машины и чуйку
A group of researchers analyzed 17 studies of job applicant evaluations and found that a simple algorithm outperforms human decision-makingby at least 25%.
Human beings are good at defining what a job is, and also good at getting information from candidates to help evaluate them. But people are simply bad at synthesizing that information, and making the right determination. // Stowe Boyd, Editor at Work Futures
И вот, пока вы продолжаете сомневаться, Стоу Бойд (Stowe Boyd) из онлайн-издания Work Futures рассказывает пример из одной свежей исследовательской работы (по результатам других исследований рынка труда): даже относительно простые алгоритмы справляются с принятием решений лучше, чем человек. Как минимум на 25%.
За деталями вы можете смело обратиться к статье по ссылке выше, а я прокомментирую, что за этим скрывается. Оказывается (какой сюрприз!), мы очень склонны переоценивать влияние факторов, которые никак не связаны с требуемой работой, но повышают кандидата в наших глазах (или наоборот принижают). Например, если вы любите путешествовать и кандидат тоже говорит об этом, вы сразу испытываете к нему интерес, хотя, скажем, его работа — сидеть в офисе и программировать.
Машина такие всплески просто отфильтровывает. Человек же (пока) лучше справляется с другим: поговорить с кандидатом, разговорить его, вытащить дополнительные детали, для которых нет очевидных вопросов. Надо отдать должное, хорошие рекрутеры во многом именно этой чуйкой и ценны.
Иван, которого нет
AI employees are not luxury anymore, it’s a necessity. Any business can afford to create a custom chatbot with own personality and teach it to interact with their customers. // Marina Ashurkina, CEO Cherry.AI
Наконец, немного про ботов (я к ним еще позже вернусь). В какой-то момент вы обнаруживаете, что от лица вашей компании на сайте разговаривает некто Иван. Отвечает на вопросы, задает свои и даже иногда шутит.
Но в вашем списке сотрудников нет ни одного Ивана. Ивана нанял отдел маркетинга. Точнее арендовал. Иван — просто бот, но с притензией на личность и интеллектуальность.
А еще вы вдруг узнаете, что внутри компании у вас тоже завелся бот. Ее зовут Алиса, она обеспечивает тех-поддержку. Ее создали ваши программисты, правда, заложив некоторые гендерные стереотипы. Но это, ведь, мелочи? Она же просто бот.
И еще до вас вдруг по касательной доносится, что АСИ создает Университет 20.35 и в нем наравне с людьми будут учиться искусственные интеллекты. Вам кажется, что мир сходит с ума.
А я интересуюсь, в какой момент все нанятые или созданные внутри компании боты попадут под наблюдение HR? И в какой момент современный HR переосмысли себя как HAR — Human and Artificial Resources?
Скрининг-аут, скриннинг-ин
Нулевая корреляция
One of the things we’ve seen from all our data crunching is that G.P.A.’s are worthless as a criteria for hiring, and test scores are worthless — no correlation at all except for brand-new college grads, where there’s a slight correlation. // Laszlo Bock, Senior Vice President for People Operations at Google — NYTimes
Снова к интервью с Лазло Боком. Еще ребята из Google выяснили, что также нет никакой корреляции между оконченным учебным заведением с выпускными баллами и тем, как сотрудник работает. (С исключением для совсем зеленых свежих выпускников без опыта работы, то есть со скидкой на то, что академический опыт отличается от реальных условий, но это хоть какое-то понимание способностей человека.)
Как только компания это понимает, она должна сделать две вещи. Во-первых, выкинуть на свалку истории требования по дипломам и фильтры по вузам. Например, одно время во многих больших компаниях бытовало мнение (и много где все еще…), что они должны обеспечить себе найм топ-студентов из топ-университетов, потому что именно эта “элита” определяет будущее.
Мы, как и Google, с этим не согласны. Поэтому, во-вторых, насколько это возможно, нужно пересмотреть алгоритмы первичных фильтров резюме и снова включить в оборот всех тех, кто раньше оказался за рамками рекрутерской воронки.
Отдельный большой вопрос: как поменять логику фильтрующей воронки, в которой через жернова отбора до финального принятия решений доходят только “самые лучшые, достойные и с наибольшим потенциалом”, в сторону чего-то более интеллектуального, построенного на совпадении профилей: от психологии до специфики решаемых задач. И это тоже большая задача для машинного обучения.
Тут мы как раз подходим к двум интересным историям, которые недавно “бомбанули” в медиа-пространстве.
С точностью 90%. Или нет?
Research at Stanford University by Michal Kosinski and Yilun Wang has shown that machine vision can infer sexual orientation by analyzing people’s faces. // The Economist
Первая: пара исследователей из Стэнфордского университета взяли публично открытые профили 30 тысяч людей из сети знакомств, вытащили оттуда фотографии и предпочтения в поле партнера (как нетрудно догадаться, тут есть 4 возможных варианта). После чего натравили на эти данные обучение нейронной сеточки, которая впоследствии на предоставленной тестовой выборке с 91% точностью для мужчин и около 80% для женщин предугадывает, какого пола партнера они ищут, то есть ту самую сексуальную ориентацию.
Это исследование еще не имеет независимых подтверждений и в целом есть большое подозрение, что оно ходит по грани и слишком близко к физиогномике (лженауке, которая увязывает черты характера с чертами лица). И сегодня ученые понимают, что с полом человека, равно как и с сексуальной ориентацией не все так полярно, как принято считать.
Но!.. Вот представьте себе такую гипотетическую ситуацию, независящую от верности исследования. К вам приходит стартап (ничего негативного, просто в этой нише в основном работают только стартапы) и предлагает технологию автоматического отбора резюме. И вот в этом инструменте есть галочка “оставить только людей традиционной ориентации”. Что дальше?
Выберите ли ее вы, если вам дали такую возможность? А ваш начальник или подчиненный? Ведь вживую вы не будете спрашивать у кандидата такого рода сведения, а тут это вам приносят на блюдечке. А если ваш подрядчик врубит такой фильтр, никому не сказав? Должны ли вы быть в курсе, как именно работает автоматический отбор?
Wu and Zhang’s claim is that machine learning techniques can predict the likelihood that a person is a convicted criminal with nearly 90% accuracy using nothing but a driver’s license-style face photo. // Blaise Agüera y Arcas, Machine Intelligence Lead at Google
Вторая: пара исследователей из Китая взяли базу фотографий преступников и публичные фотографии “благонадежных” членов общества (чиновники, преподаватели и т.п.). Натравили на эти данные обучение нейронной сеточки и с 90%-вероятностью научились предсказывать криминальность человека по фотографии с водительского удостоверения. (По ссылке выше детальный разбор, почему эта работа, мягко говоря, не корректна и лженаучна.)
История выстрелила в СМИ, подход относительно легко можно воспроизвести. И снова тот же вопрос. Представьте себе, что в автоматической фильтрации резюме у вас появилась волшебная галочка “отфильтровать криминал”, или галочки нет, а кто-то фильтрует по фотографии за кадром. Ваши действия?
Не угодил человек лицом, не так улыбнулся на фотографии или вообще не улыбнулся. И сидит месяцами ждет предложений, а их все нет и нет… Грустно.
В обоих случаях большой вопрос к HR: должен ли HR-специалист разбираться, как именно работает фильтрующий алгоритм, на каких данных он обучался и почему такой фильтр вообще возможен?
История не всегда аргумент
If one naively trains an ML algorithm to filter resumes based on data on prior hires, the results can turn out to be race- or gender-biased. // Jennifer T. Chayes, Distinguished Scientist and Managing Director at Microsoft Research — Huffpost
И вот в догонку Джениффер Чейз (Jennifer Chayes) из Microsoft в большой статье про потенциал использования ИИ для повышения честности в принятии решений рассказывает, в частности, об использовании исторических данных для обучения алгоритма.
С одной стороны, кажется естественным и логичным посмотреть, какие решения о найме мы принимали в прошлом и как работал сотрудник, чтобы обучить алгоритм принимать схожие решения в будущем.
Но вот мы уже умные и понимаем, что нельзя принимать решения на основании пола, возраста и других подобных атрибутов. Поэтому такие банальные вещи мы уже исключили из скрининга и даже не показываем их при отборе резюме. А алгоритм по-прежнему нам подсовывает больше мужчин, чем женщин (а для штатов — больше белых мужчин). Что ж такое?
Оказывается, в данных по-прежнему содержатся косвенные признаки, которые алгоритм научается извлекать, потому что они коррелируют с тем, кого мы нанимали раньше (когда не думали о равенстве или потому что так сложилось). Это может быть банально имя или отсылки на род в местоимениях и глаголах. А может быть и культурный след в частоте употребления тех или иных слов и выражений разными поколениями.
Или вот еще пример, пишет Дженнифер: исторически мы знаем, что если у мужчины был перерыв в год и больше между работами без существенных причин (учился, болел и т.п.), то это тревожный такой звоночек. И алгоритм сам это понимает по истории наблюдений. Но оказывается, что он легко переносит этот шаблон и на женщин, автоматически отфильтровывая тех, кто был в отпуске по беременности и уходу за новорожденным ребенком.
И вот теперь снова вопрос: должен ли HR корректировать такие аномалии в алгоритме? И если да, означает ли это, что пора обучать HR-специалистов азам машинного обучения и, более широко, искусственного интеллекта?
Индивидуальные траектории
Про Петю и другие зловреды
Every company has at least one employee who will click onanything. // Brad Smith, President and Chief Legal Officer at Microsoft
На одной из наших больших конференций прошедшим летом Брэд Смит (президент Microsoft и главный по всем легальным и юридическим вопросам) в контексте обсуждения прокатившихся по интернету вирусных атак (Petya и т.п.) озвучил приведенную выше цитату, которую он, в свою очередь, услышал от одного из партнеров.
И это действительно так. Поэтому во всех достаточно продвинутых компаниях внутренние IT-службы ведут автоматический анализ поведения подключенных к сети устройств, вычленяют аномалии в траффике и т.п. (не говоря уже о традиционном антивирусном софте и политиках безопасности).
Но! Если помните, тем же летом, была фишинговая волна со ссылками на якобы розыгрыши авиа-билетов от Аэрофлота и Эмиратов. Я видел, как мои коллеги по Microsoft публикуют эти ссылки в своих фейсбуках, причем с большой уверенность можно сказать, что они это делают с тех же устройств, с которых имеют доступ в корпоративную сеть (тут и берущая развитие концепция BYOD, и постоянное смешение личных и рабочих контекстов).
Теперь, внимание, очередной этический вопрос: должна ли служба безопасности следить за профилями сотрудников в социальных сетях для отслеживания подобных аномалий и угроз? Насколько сильно это граничит с вторжением в частную жизнь?
Я даже больше спрошу. Интересно ли теперь уже HR выяснить, можно ли по поведению с социальных сетях автоматически научиться предсказывать отток сотрудников или, скажем, их болезни? Если к вам завтра придет стартап с таким предложением под соусом умного искусственного интеллекта, возьмете в работу?
Тень HR`а
Just as marketers have discovered the power of chatbots to personalize a shopping experience, HR leaders are starting to pilot chatbots to transform the employee experience. // Forbes
Вернемся к чатботам. По опыту в любой большой компании мы знаем, что многие задачи взаимодействия сотрудников с отделом кадров и финансами (бухгалтерией) носят шаблонный характер: сделать справку, оформить командировку, подписать обходной лист и т.п.
Очевидно, что все это может автоматизироваться. Можно начать просто с сайта. Например, у нас все типовые запросы собраны на одном портале и мы предпочитаем, чтобы сотрудники для общения с внутренними службами использовали именно его, а не писали напрямую через email. Это позволяет привести большую часть вопросов в каноническую форму, а также ввести отслеживание скорости реакции, обработки запросов и ввести обратную связь с оценкой работы коллег.
Очевидно и то, что такие сервисы будут находить все более близкую к людям форму: и сначала они придут во внутрикорпоративные мессенджеры.
А вот дальше жизненный вопрос для самого отдела кадров: когда появится HR-бот, он будет просто первой линией поддержки или чем-то большим? Например, виртуальным двойником настоящего HR-специалиста, но который всегда под рукой, индивидуализированный, со своими шутками, психологическими особенностями и т.п., готовый отвечать на любые глупые вопросы, на которые обычно не хватает времени?
Когда будущее настигает
If I’m an employee and I’m thinking “What do I need to learn to be able to have a place in the workforce of tomorrow?”, the problem is that I don’t really know the answer because it’s changing all the time. //Dr. Bob Aubrey
Тут мы подходим к другой связанной теме, о которой по ссылке выше правильно рассуждает профессор Боб Обри (Bob Aubrey), эксперт в области HR и автор множества книг об управлении людьми.
Тема такая: если мы все согласны, что наступает эпоха цифровой трансформации, четвертой промышленной революции, постоянного (пере)обучения, и мы все ближе к жизни в условиях перманентно неопределенного будущего, регулярной пересборки команд (в горизонтальных структурах), растущей доли фриланса как модели занятости, если все это так, то я как сотрудник не знаю, что мне нужно учить сегодня, чтобы быть успешным завтра.
Исторически, внутри больших компаний сформировались внутренние процессы и соотвествующие структуры (университеты и т.п.), отвечающие за подготовку и переподготовку сотрудников, но все они заточены на 1) массовый подход и 2) годичную сезональность, привязанную к финансовым годам.
И вот теперь, когда нас настигает неожиданное будущее, мы бы хотели, конечно, приставить к каждому сотруднику персонального тьютора или ментора, но никогда не сможем это сделать. Поэтому в части обучения (readiness) вместе с запросом на индивидуальные траектории возникает запрос на интеллектуальные алгоритмы и ассистенты, которые будут давать персональные рекомендации, отслеживать личный прогресс и с учетом этой накопленной истории предлагать шаблоны сборки различных команд под те или иные задачи. И все это вне рамок традиционной иерархии.
Вместо итогов
Наконец, приведу еще две цитаты из упомянутых выше источников.
Первая, от Дженнифер Чейз, о том, что ИИ уже давно не является вотчиной только ученых, инженеров и философов. В реальности на наших глазах разворачивается новое понимание этого технологического пласта, которое будет содержать этические аспекты и будет подвержено правовому регулированию.
There is an entirely new field emerging at the intersection of computer science, law, and ethics. // Jennifer T. Chayes, Distinguished Scientist and Managing Director at Microsoft Research
Вторая, от Лазло Бока, о том каждая организация уникальная, каждый коллектив и каждая ситуация имеют свои особенности, поэтому у применения технологий больших данных и ИИ всегда будут ограничения, требующие инсайтов и интерпретации от людей.
There are things that are specifically true only about your organization, and the people you have and the unique situation you’re in at that point in time. I think this will be a constraint to how big the data can get because it will always require an element of human insight. // Laszlo Bock, Senior Vice President for People Operations at Google
В какой степени соглашаться со всем этим, личное дело каждого. Я знаю, что многим инженерам хотелось бы, чтобы их технический мир оставался вне политики и правового регулирования. И я также знаю, что многим инженерам хотелось бы автоматизировать то, что кажется им несправедливым или подверженным порокам человеческого восприятия.
Банально, но истина где-то рядом. :)
---
Оригинал: https://outofline.ru/human-artificial-resources-между-этикой-и-технологиями-a661ba264522
