Найти в Дзене
vc.ru — стартапы и бизнес

OpenAI больше не будет использовать бенчмарк SWE-bench Verified для оценки способностей нейросетей в разработке ПО

Исследователи обнаружили, что модели запоминали готовые решения, которые видели на GitHub. GPT‑5.2 решала 80% задач из этого набора тестов vc.ru/ai/2756713

OpenAI больше не будет использовать бенчмарк SWE-bench Verified для оценки способностей нейросетей в разработке ПО.

Исследователи обнаружили, что модели запоминали готовые решения, которые видели на GitHub. GPT‑5.2 решала 80% задач из этого набора тестов

vc.ru/ai/2756713