🤖 Fine-tuning GPT-2 от человеческих предпочтений

🤖 Fine-tuning GPT-2 от человеческих предпочтений

Мы донастроили языковую модель GPT-2 с 774 миллионами параметров, используя обратную связь от людей для различных задач, успешно соответствуя предпочтениям внешних меток, хотя эти предпочтения не всегда совпадали с нашими. Конкретно, для задач суммирования метки предпочли предложения, скопированные целиком из входных данных (мы лишь просили их обеспечить точность), поэтому наши модели научились копировать. Для суммирования потребовалось 60 тысяч человеческих меток; более простые задачи, которые продолжают текст в различных стилях, потребовали всего 5 тысяч. Наша мотивация заключается в том, чтобы приблизить техники безопасности к общему заданию "машин, говорящих с людьми", что, по нашему мнению, является ключом к извлечению информации о человеческих ценностях.

Подробнее

Наш Телеграм