Представьте: открываете сайт и видите привычную кривую нормального распределения — как в учебнике по психологии. Только вместо людей на ней расположены языковые модели. GPT, Claude, Gemini и ещё полсотни других, каждая со своим числом. Одни ближе к «среднему», другие — далеко за отметкой 150. Эта идея за одну неделю разделила технологическое сообщество на два непримиримых лагеря. И у каждого стороны есть весомые аргументы. Проект агрегирует 12 известных тестов производительности языковых моделей...

Уже лет десять Интернет мучает нас самыми разнообразными тестами интеллекта или по-научному тестами IQ. Но некоторые учёные (С. Дж. Стейн и Говард Бук, например) пришли к выводу, что измерять лишь эрудицию человека недостаточно. Даже самый умный представитель нашего рода может в полной мере так никогда и не воспользоваться своими знаниями, потому что никогда (по совету Бродского «Не выходи из комнаты, не совершай ошибку») не явит миру своего гения. И тогда-то в светлые головы психологов и социологов...