🤖 Fine-tuning GPT-2 от человеческих предпочтений Мы донастроили языковую модель GPT-2 с 774 миллионами параметров, используя обратную связь от людей для различных задач, успешно соответствуя предпочтениям внешних меток, хотя эти предпочтения не всегда совпадали с нашими. Конкретно, для задач суммирования метки предпочли предложения, скопированные целиком из входных данных (мы лишь просили их обеспечить точность), поэтому наши модели научились копировать. Для суммирования потребовалось 60 тысяч человеческих меток; более простые задачи, которые продолжают текст в различных стилях, потребовали всего 5 тысяч...