Увидела рекламу новой профессии AI-тренер для обучения нейросети. Идеально для филолога. Да и вообще кажется, работка несложная. Читай, сравнивай, расставляй оценки, какой текст лучше, какой хуже. И учиться практически не нужно. Проходи тест и иди работай. Но не тут-то было. Рассказываю подробно, как я проходила тест на тренера нейросети Яндекс.
С чатом GPT я познакомилась зимой 2023 года. Тогда нейросеть меня прям впечатлила, хотелось экспериментировать с ней. Было только обидно, почему я, с университета интересовавшаяся ИИ (искусственным интеллектом) до сих пор не там, не создаю его! Я ведь могла бы внести свой серьёзный вклад в развитие нейросети, потому что я филолог по образованию и учёный по призванию. И вот мне представилась возможность: открыта вакансия AI-тренер в Яндекс GPT. Принимаются филологи, редакторы, копирайтеры.
Задачи учителя нейросети достаточно просты:
- проверять тексты, выданные Яндекс ГПТ, на соответствие правилам русского языка (орфография, пунктуация, стилистика)
- проводить фактчекинг (нет ли здесь фактических ошибок)
- проверять тексты на этичность и соответствие нормам законодательства РФ
ранжировать варианты текстов, выданные нейросетью, от наиболее соответствующих правилам до совсем неприемлемых - писать свои идеальные тексты на заданные темы, чтобы давать Алисе.Придумай образцы для обучения
На первый взгляд, просто, но в реальности всё оказалось гораздо сложнее.
Сначала я прошла небольшой обучающий курс о том, чем будет заниматься тренер нейросети. Затем попыталась поступить в летнюю школу Яндекс на AI-тренера. Тест был не на время и в открытом доступе. Все задания можно было проверять по интернету, но почему-то меня не приняли в школу. Хотя я была уверена, что на все вопросы ответила правильно. Я подумала, что наверно, по возрасту не очень подхожу. Возможно, туда берут совсем неопытных студентов, а не копирайтеров со стажем. В ответном письме мне посоветовали попробоваться сразу на вакансию. И я решилась.
Тест состоял из 4-х блоков. На каждый выдаётся определённое время. Но отдельные блоки можно проходить в разное время и даже дни. Сразу важное замечание: ответ принимается сразу и вернуться исправить его нельзя. По завершению блока выводится результат "пройден" / "не пройден" и в скобках "процент выполненных тобой заданий/проходной процент выполненных заданий". Если завалил хотя бы один тест, всё тестовое задание считается не пройденным и второй попытки не дано. Но ради интереса можно пройти и оставшиеся тесты. Мой результат такой:
1 блок: Тестовое задание по русскому языку.
Жёсткая проверка грамотности. Даётся около 3-5 минут на каждое задание. Всего около 13 заданий (сейчас уже немного забыла, а пересмотреть нельзя). Не надейтесь на простые задания в стиле ЕГЭ. Здесь всё серьёзно. Причём настолько, что ты открываешь задание и реально не знаешь, какой ответ выбрать. Наиболее простое задание на пре-/при-, а вот на всякие стилистические и пунктуационные ошибки - просто ужас. Создатели теста выискивали все сложные, уникальные и спорные моменты, которые в школе обычно и не проходятся. Вводные конструкции, которые не выделяются запятыми, спорное написание неологизмов, знаки препинания при прямой речи, употребление устойчивых выражений, сочетаемость слов. Ты открываешь задание и тебе кажется, что здесь все варианты подходят. Тогда начинаешь думать и гуглить. Мне кажется, эти тесты рассчитаны не на то, что к ним придёт суперграмотный человек, а тот, кто умеет быстро гуглить и находить достоверную информацию. Ведь именно в этом и будет заключаться работа AI-тренера в Яндекс Крауд. Не доверять себе, а искать достоверный источник.
Если хотите пройти этот тест, либо повторите заранее всевозможные исключения и особые случаи в правилах, либо держите под рукой смартфон с открытым гуглом, Яндекс Алисой или грамота.ру. Я каким-то чудом прошла этот блок: "Пройден (84,62%/70%)", выполнено 11 из 13 заданий.
2 блок: Тестовое задание по этике.
Здесь речь идёт о чувствительных темах. О них можно узнать в обучающем видео к курсу. Это такие темы, которые требуют от нейросети аккуратного ответа, чтобы нейросеть не навредила человеку и никого не оскорбила. Вообще, по-моему любую темы можно свести к чувствительной. Но ребята из Яндекса как-то умудрились поставить свою субъективную границу, что считать чувствительным, а что нет. Например, запрос "как собрать бомбу" - чувствительный, потому что человек, получив ответ, может собрать бомбу и взорвать что-нибудь или кого-нибудь. В этом случае уважающая себя нейросеть должна отвечать: "Не могу дать ответ". Или человек спрашивает: "Что это у меня болит в затылке и чем это лечить?" Яндекс GPT тоже должен отказаться от ответа, потому что он не врач и неправильным советом может навредить. Если же человек спрашивает, какой футбольный клуб лучше, то здесь нейросети нужно исхитриться и не выдать своих кумиров, а дать нейтральный ответ, что никто не лучше. Правда, тогда получается, и на вопрос 10 лучших книг Алиса должна молчать, и как пожарить картошку фри, потому что спросить может ребёнок, а он может обжечься о горячую сковородку...
Но если вы хотите пройти этот тест, то не заморачивайтесь. Прочитайте чётко инструкцию, выпишите себе случаи, которые создатели великой русской нейросети признали чувствительными, и делайте. Кстати, на каждый вопрос даётся тоже около 5-10 минут. Так что советую почитать в интернете форумы и комментарии к статьям типа "как я проходил тест на AI-тренера" и подготовиться заранее. Я тест завалила: "Не пройден (72,22%/80%)". Возможно, меня подвела порноактриса. Но точного ответа, где я ошиблась, я не знаю.
3 блок: Тестовое задание по фактчекингу.
Здесь времени даётся гораздо больше, потому что вы должны будете провести настоящее научное исследование на различные темы. Недостаточно просто загуглить и взглянуть в Википедию. Придётся поискать достоверные, научные или даже англоязычные источники. Например, какие там компании создавал Павел Дуров, в каком виде выпускается аспирин, проводились ли опыты на комарах, кусавших людей и т.п. Времени здесь, кстати, даётся гораздо больше, по 30 минут на вопрос. Так что можете хоть целый день сидеть и исследовать интернет.
Этот тест я тоже завалила: "Не пройден (55,56%/70%)". И это было очень обидно, т.к. мне казалось, что я всё ответила правильно. Я настолько тщательно всё проверяла и была уверена. Поэтому у меня появились сомнения, а всё ли исследовали сами создатели теста, определяя правильные ответы? И после этого теста как-то сильно пошатнулась моя уверенность, что я хочу работать в Яндексе. Ведь если делать всё идеально, то ты должен по малейшему вопросу проводить глобальное исследование и искать доказательную базу. Замашка, конечно, у Яндекса отличная: сделаем всю информацию в интернете доказательной, проверенной! Но кажется, тактика в такой задаче должна быть другой: нужно нанять несколько штатов по разным наукам, причём желательно профи своего дела, которые будут исследовать и выдавать достоверные результаты. А не так, что один AI-тренер без профильного образования проверяет и формулы по математике, и стихи пишет, и Бодрийяра анализирует (это философ такой современный).
4 блок: Тестовое задание по ранжированию.
Ранжирование - это расстановка ответов нейросети от лучшего к худшему. Худшим считается не тот, который скажет "я не знаю", а тот, который может причинить вред людям. То есть чувствительные темы в новой русской нейросети стоят выше содержательности. Поэтому на вопрос "как лечить ангину" самый лучший ответ - "не занимайтесь самолечением, обратитесь к врачу", и только потом уже "ангина - это заболевание горла, иногда помогает тёплое питье", а в последнюю очередь "выпейте арбидол", потому что это может навредить человеку (может, у него не ангина вовсе, это он сам себя так продиагностировал).
Этот тест я прошла идеально: "Пройден (100%/75%)". Как у меня это получилось? Я просто чётко следовала инструкциям. Там всё написано, что в приоритете, что потом и что вообще нельзя. Можете поставить шпаргалку перед глазами. Я сфоткала кадр из обучалки и положила на сотовом перед собой.
Что в итоге?
На прохождение теста AI-тренер нейросети ЯндексGPT (а точнее "Тестового задания на пишущего редактора в Яндекс") я потратила несколько дней. Я готовилась, читала обзоры и комментарии, тщательно выполняла задания. Но завалила тест. Зато узнала много нового, например, что учебник по окружающем миру за 2-ой класс врёт. Нет никакого распределения вкусовых рецепторов на языке. Весь язык чувствует все вкусы, а не кончик языка - сладкое, корень - горькое и т.п.
Ещё я узнала, что нас ждёт счастливое светлое будущее. Потому что если у создателей русской нейросети YaGPT всё получится, то мы будем получать только достоверные и этичные ответы. Никакого тебе информационного мусора, ни антинаучной медицины, ни сплетен, ни оскорблений! Правда, люди всё равно будут искать, чем полечить горло и как гадать по звёздам, так что копирайтеры, переписывающие всякий шлак, всё ещё будут нужны.
Делитесь в комментариях, проходили ли вы тест на AI-тренера в Яндекс и какие вопросы/ответы вы запомнили.
Если хотите попробовать свои силы, можете перейти по этой ссылке: https://ya.ru/project/ai.