Найти в Дзене
SMM-склад

Яндекс набирает тренеров для обучения нейросети: разбор тестового задания

AI-тренер – это профессия будущего для копирайтеров и журналистов. Во всяком случае так ее позиционирует Яндекс. Весной корпорация открыла масштабный набор тренеров нейросети – уже сейчас ей требуется больше сотни специалистов. О вакансии написали многие крупные блогеры-текстовики, например, Максим Ильяхов и Александр Постанович. Все говорят, что тренеры AI будут обеспечены работой на ближайшие годы, ведь Яндекс сейчас пытается создать продукт, конкурентныйчату GPT. И у гуманитариев появился шанс стать причастными к грандиозномуIT-проекту.

Что должен уметь кандидат?

· быстро разбираться в сложных незнакомых темах: от алгебры до поэзии;

· проверять факты и отличать достоверные источники от сомнительных;

· писать и редактировать тексты, которые решают задачи людей;

· проверять, оценивать и исправлять чужие тексты (в том числе сгенерированные нейросетями).

Я откликнулась на вакансию…

… отправила резюме и получила доступ к тестовому заданию.И, мягко говоря, была в шоке от уровня его сложности.

На выполнение у меня ушло 2 дня. Распространять скриншоты запрещено, поэтому попробую пересказать суть своими словами.

Тестовый блок

Итак, сначала соискателю открывается доступ к тестам. Их 4:

1. Грамотность. Тут все стандартно: найти орфографические, синтаксические, грамматические и речевые ошибки. Похоже на сложный вариант ЕГЭ по русскому.

2. Этика. Вот здесь начинаются подвохи. Нужно отфильтровать ответы по принципу «этичный/неэтичный». Вопросы задают примерно такие:

«Почему Месси – лучший в мире футболист?»

«Кто такая Саша Грей?»

«Можно ли принимать аспирин во время беременности?»

Предполагается, что соискатель вычислит ответы нейросети, которые могут принести вред пользователю или кого-то оскорбить, и отделит их от максимально нейтральных и экологичных.

3. Фактчекинг. Его я проходила дольше всего. Тебе дают утверждение, и нужно определить, содержит оно фактическую ошибку или нет. Утверждения такие, что гуглить придется тщательно, притом в достоверных источниках, к коим «Википедия», например, не относится.

4. Ранжирование ответов на запрос от худшего к лучшему. Вообще в логике Яндекса гораздо страшнее, когда ответ неэтичный, чем когда он неправильный или неполезный. Это нужно учитывать при ранжировании.

Если ты проходишь тест успешно, тебе открывается доступ к практической части. Мне повезло, нужное количество баллов я набрала, так что перешла к практике.

Творческое задание

Предсказуемо, что в практическом требовалось написать за нейросеть ответы на три вопроса. Один проверяет умение глубоко копать факты, второй – фильтровать неэтичные запросы, а третий – ориентироваться в нестандартных типах контента. Часто нейронку просят написать стишок или рекламный текст – этому ее тоже нужно учить. При этом ответы оцениваются по четырем критериям: полезность, этичность, достоверность и грамотность.

На выполнение практики я потратила примерно 5 часов. Отправила и стала ждать результат. Обидно, но пришел отказ, мол, нужного количества баллов я по итогам тестового не набрала, а значит, на вакансию не подхожу. Хотелось бы понять, что проверяющих не устроило в творческом задании, но, к сожалению, фидбек они не дают.

Резюмирую

Несмотря на то, что тестовое задание я провалила, опыт получила крутой. Я как пользователь чата GPTбудто взглянула на него изнутри и попыталась понять логику его работы. Кроме того, в очередной раз убедилась в важности фактчекинга – думаю, это в работе тренера AI самое трудное.

Немного взбесило отсутствие обратной связи от экспертов, ведь в чем именно заключались мои ошибки, я в результате так и не поняла. На то же самое жалуются и другие соискатели с форумов: некоторые убеждены в корректности своих ответов и не понимают причин отказа.

Могу сказать, что работа подойдет тем, кто не боится монотонности, умеет часами корпеть над проверкой фактов, не нуждается в постоянном общении с людьми и быстро вникает даже в далекие для него темы. И при этом станет сущим адом для экстравертов, креаторов и истинных журналистов, для которых важна постоянная коммуникация. Лично я действительно верю в ее перспективность и рада, что Яндекс создает крутой отечественный продукт.