Проходя один и тот же тест с небольшими перерывами, вы можете получить разные результаты, потому что на концентрацию значительно влияет ваше физическое и психологическое состояние. Но даже в потенциально стерильных условиях IQ-тестам далеко до высокой точности. Например, в варианте теста Айзенка, долго использовавшемся в США для того, чтобы проверять дошкольников в возрасте от 3 до 5 лет, был вопрос, какого цвета яблоко. Правильный ответ — сказать, что цветов много, и назвать некоторые из них, но высока вероятность, что трёхлетний ребенок мог видеть только красные или только зелёные яблоки, и это никак не влияет на его умственные способности.
Некоторые версии теста Рудольфа Амтхауэра вообще задают вопросы на эрудицию («что измеряют в джоулях?») — ответ можно за секунду узнать в интернете или справочнике, отчего вы не станете способнее. Психолог У. Джоэль Шнайдер в интервью изданию Scientific American также напоминает, что средний тест на IQ даёт не только очень приблизительное, но и очень усреднённое значение, потому что складывается из нескольких субтестов, каждый из которых проверяет разные типы мышления. Таким образом, человек с выдающимся абстрактным мышлением и слабым вербальным с большой вероятностью получит средний результат.
Исследовательские центры используют более совершенные системы, выдающие не только средний балл, но и очень подробную статистику. Одну из таких программ под названием Compositator разработал сам Шнайдер, хотя признаёт, что и она далека от нужной точности, а умный и успешный по всем видимым параметрам человек с заурядным или даже низким IQ — далеко не исключение. В своём блоге, во многом посвящённом как раз измерению IQ, Шнайдер отмечает, что общественный интерес к тестам на коэффициент интеллекта и их результатам падает: их уже не воспринимают слишком серьёзно. Это особенно заметно по американским работодателям: в 50-е годы, когда измерение IQ стало популярным, крупные компании хотели брать на работу только людей с высоким баллом и даже устраивали тесты прямо на собеседовании, но к 2000-м от такой практики почти полностью отказались.
Наконец, ещё одна важная проблема тестов на IQ — строгая привязка ко времени. Известно, например, что Альберт Эйнштейн думал чрезвычайно медленно и не укладывался в отведённые сроки на экзаменах, но едва ли кто-то будет сомневаться в уровне его интеллектуальных способностей.