Найти в Дзене
RUVDS

Когда промпт слишком человеческий: как ИИ провалили тест на часы

Когда промпт слишком человеческий: как ИИ провалили тест на часы ⏰ Брайан Мур устроил забавный стресс-тест для нейросетей – AI World Clocks. Он взял девять моделей, от старенькой GPT-3.5 до Grok 4 и GPT-5, и попросил их раз в минуту генерировать новый HTML-код часов, которые должны показывать правильное текущее время. И тут выяснилось неожиданное: ни одна модель не справилась стабильно. Иногда код получался почти идеальным, но на длинной дистанции все они ошибались. Фокус в том, что задание было максимально «человеческое» и простое: им просто говорили «сделай часы». Никаких подсказок про математику углов стрелок, про то, где в CSS находится ноль градусов, и как проверять результат. Эксперимент вскрывает любопытную проблему: нередко именно так большинство людей взаимодействуют с ИИ – дают короткие, туманные запросы вроде «сделай красиво». И в будущем разработчикам придётся улучшать не только модели, но и сами интерфейсы взаимодействия, чтобы нейросети умели уточнять неполные задачи

Когда промпт слишком человеческий: как ИИ провалили тест на часы ⏰

Брайан Мур устроил забавный стресс-тест для нейросетей – AI World Clocks. Он взял девять моделей, от старенькой GPT-3.5 до Grok 4 и GPT-5, и попросил их раз в минуту генерировать новый HTML-код часов, которые должны показывать правильное текущее время.

И тут выяснилось неожиданное: ни одна модель не справилась стабильно. Иногда код получался почти идеальным, но на длинной дистанции все они ошибались.

Фокус в том, что задание было максимально «человеческое» и простое: им просто говорили «сделай часы». Никаких подсказок про математику углов стрелок, про то, где в CSS находится ноль градусов, и как проверять результат.

Эксперимент вскрывает любопытную проблему: нередко именно так большинство людей взаимодействуют с ИИ – дают короткие, туманные запросы вроде «сделай красиво». И в будущем разработчикам придётся улучшать не только модели, но и сами интерфейсы взаимодействия, чтобы нейросети умели уточнять неполные задачи и сами запрашивать недостающие детали.