2 недели назад
Период полураспада ИИ-бенчмарки сократился вдвое: почему важно следить за метриками
В мае я подал OenoBench. В дискуссии с ревью ерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового ИИ-бисмарка и сколько он вообще проживёт. Чтобы ответить этот вопрос, я собрал 224 ИИ-бисмарка, о которых в 2018–2026 годах отчитывались девять лабораторий: OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Alibaba, Moonshot и Mistral. Для каждого нашёл дату рождения и, если она уже наступила, дату смерти — момент, когда бисмарк перестаёт...