Когда-то давно был предложен тест, позволяющий определить истинный [искусственный] интеллект от просто хорошо составленного алгоритма. Заключается он в том, что несколько экспертов должны беседовать (доступным способом) с претендентом и живым человеком. Если эксперты не могут по этой беседе отличить робота от живого человека, то считается, что тест сдан - мы имеем дело с настоящим интеллектом.
Примерно то же нам бы нужно в школе, например, на математике. Отличить тех, кто просто выучил алгоритмы решения задач от тех, кто понял теорию, и эти алгоритмы изобретает сам.
Разделить псевдоматематику и математику.
И вот это - одна из сложнейших задач педагогики: измерить степень понимания за вычетом степени запоминания.
Классический критерий "получил правильный ответ ≡ понял", на который ориентируются почти все, оказывается довольно подленьким. Алгоритмизация детей в школе доведена до такого уровня, что часто бывает очень трудно придумать задачу, на которую у ребёнка нет готового алгоритма. А уж на типовые задачи (типа сложения дробей, деления чисел) алгоритмы вбиваются глубоко в подкорку.
Вот придите сегодня домой с работы и попросите своих детей поделить 8235 на 27. Наверняка "ребёнок" поделит столбиком. А когда он получит правильный ответ, спросите, почему нужно именно так действовать, почему от этого получится правильный ответ. В лучшем случае, получите ответ типа "ну потому что так надо".
Алгоритм запоминается как "эту циферку пишем туда, а ту - сюда". Он не требует размышлений, не требует Чтения. Просто увидели нужную циферку и записали. Почему именно эту, зачем вообще это всё нужно - не важно. Просто пишем. Это же так просто.
В принципе, при работе с теорией, ученик точно так же пишет "циферку туда". Поэтому по внешним признакам отделить понимающего от знающего - просто невозможно. Есть нюансы, но они могут что-то сказать только опытному человеку. Вот пример с многострадальной таблицей умножения: два ученика отвечают на уроке таблицу умножения. Оба правильно, оба довольно быстро. Как понять, который зазубрил её, а который умножает на лету? У второго время от времени между вопросом и ответом взгляд "мутнеет".
Хотя, нет. Есть одно принципиальное различие. Оно, правда, тоже вероятностное, но доля вероятности довольно большая.
При запоминании алгоритма, человек ориентируется на внешний вид, на образ того, что видит, и задаётся вопросом "как?". А при понимании ориентируется на смысл и задаётся вопросами "что значит?" и "что такое" (даже если они начинаются со слова "как").
Вот на этой важной детали и можно попытаться отделить человека, который понимает от человека, который просто выучил много алгоритмов. Нужно создать условия, в которых внешний вид не совпадает со смыслом. Очень грубый пример: "На подоконник выставили пять горшков с рассадой, что на три меньше, чем поставили на балкон. Сколько горшков выставили на балкон?" Здесь внешнее слово "на...меньше" имеет смысл сложения, и если ориентироваться только на внешнее сходство, то ответ будет неправильным.
И вот неправильный ответ на подобные "нестандартные" задачи как раз и может дать нам шанс увидеть, что человек просто запомнил алгоритм, а не придумал его сам, исходя из теории.
Правильный ответ ничего не даст.
Если мы знаем, что из 100 собеседников 98 - роботы, то пока все отвечают одинаково, мы не сможем найти человека.