Автор Майкл Фельдштейн
В последние пару лет я мало писал в блоге. Отчасти это было связано с моей работой в качестве директора по стратегии в 1EdTech, которую я просто обожаю. Я твердо верю, что мы можем оказать мощное и уникальное влияние на будущее EdTech, включая, помимо прочего, влияние на роль ИИ в нем. В ближайшие месяцы я буду писать больше о том, чем мы занимаемся. Я предан своей работе так, как не был уже довольно давно.
Однако сначала мне нужно кое-что сказать. Хотя сейчас модно быть одержимым ИИ, моя особая одержимость проистекает из моего многолетнего интеллектуального пути, начавшегося в 13 лет. Это отразилось в моем чтении, письме, учебе и работе. И я думаю, что могу внести что-то ценное в этот момент, когда и все, и никто не являются экспертами в области ИИ.
Меня меньше интересует искусственный интеллект, чем интеллект в целом. Раньше это было более распространенным явлением, чем сейчас. Я был студентом в определенный период, когда ученые из разных дисциплин изучали предположение о том, что человеческий интеллект может быть вычислительным. Термин «когнитивная наука» набирал популярность. В те дни ИИ не рассматривался как отдельная область исследований. Он был неотъемлемой частью. И, возможно, потому что я не продолжил обучение в аспирантуре, я не участвовал в медленном отдалении этих областей друг от друга на протяжении десятилетий. И вот мы здесь, в момент, когда невозможный объект бросает вызов основам того, что мы считали интеллектом и как, по нашему мнению, он должен работать. Тем не менее, ученые в областях, которые могли бы дополнять друг друга, находятся почти так же далеко друг от друга, как и полвека назад.
Ситуация начинает меняться. Если вы почитаете современные научные статьи по ИИ, нейробиологии, психологии, лингвистике и другим областям, вы заметите, что они начинают использовать язык друг друга и заимствовать концепции друг у друга. Пока что большая часть этого взаимопроникновения носит от декоративного до фрагментарного и оппортунистического характер. Мы пока не видим возрождения амбициозной междисциплинарной программы, которая породила такие книги, как «Я разума (The Mind’s I)». Но мы увидим. Это произойдет. Области необходима единая объяснительная структура, чтобы объединить разрозненные усилия в диалоге друг с другом.
С момента появления GPT-3 я был одержим этими программными продуктами, которые, кажется, демонстрируют интеллект. Если функционализм — теория о том, что человеческий интеллект является вычислительным — верна, то, возможно, не будет различия между «проявлением интеллекта» и «обладанием интеллектом» (что явно отличается от «обладания сознанием»). В течение последних нескольких лет я самостоятельно изучал ИИ в свободное время, которое я бы посвятил ведению блога. В своем последнем посте я писал о том, что буквально никто не может адекватно объяснить, как работает ИИ. Это не просто еще одна интересная для меня тема. Она лежит в основе всего, что я изучал с тех пор, как начал самостоятельно выбирать, что изучать. Искусственный интеллект для меня очень важен по причинам, не имеющим ничего общего с технологиями или экономикой.
Я написал статью, которая стремится внести научный вклад в вопрос о том, что делает ИИ, и, что более важно, как должна выглядеть правдоподобная теория того, что делает ИИ. Это был долгий и трудный путь, с, честно говоря, несколькими досадными неудачными попытками. Наконец, я готов не только рискнуть подвергнуться критике, но и пригласить к ней. Часть аргумента, который я привел в своем последнем посте в блоге, и который я продолжаю здесь, заключается в том, что теория является теорией только в том случае, если ее можно опровергнуть. Если моя теория о том, как работает ИИ, будет опровергнута путем убеждения исследователей в необходимости взаимодействия с ней, приняв ее стандарты для качественных исследований в области ИИ, то статья будет считаться успешной.
Этот пост является введением и приглашением к прочтению моей статьи. «Различия, которые стоит сохранить» предлагает фальсифицируемую теорию того, чему ИИ на самом деле учится во время обучения (и описывает первоначальный тест на фальсификацию, который я провел, и который теория проходит). Я не буду пытаться заново объяснять всю теорию. Вместо этого я постараюсь дать вам достаточно информации, чтобы некоторые из вас, надеюсь, захотели ознакомиться с ней самостоятельно.
Я также предоставлю несколько инструментов и советов по использованию ИИ для лучшего понимания этой статьи. Я твердо убежден, что люди должны… э-э… читать сложные аргументы, написанные другими людьми. Но чтение сейчас другое. Эта статья представляет собой интересное исследование того, насколько изменилось и не изменилось чтение в настоящий момент времени. В моей аргументации используются некоторые из тех же методов, которые я использую в постах блога e-Literate, — именно те мыслительные приемы, с которыми нынешнее поколение ИИ все еще испытывает трудности. В то же время, статья носит междисциплинарный характер. Относительно немногие люди глубоко знакомы с большинством или всеми научными традициями, на которые я опираюсь. В то время как люди могут видеть концептуальный мост, который не видят ИИ, ИИ знают детали того, что находится по другую сторону моста, которые отдельные люди могут не знать. Эта статья дает вам возможность изучить это новое партнерство, независимо от вашего интереса или уверенности в представленной мной теории.
Начнем?
Все дороги ведут в Рим (в конце концов).
Я был своего рода персонажем Форреста Гампа в интеллектуальной истории, предшествовавшей этому моменту. Я блуждал по идеям бурных интеллектуальных времен, не понимая их значения, и оказывался на полях сражений, где не понимал, почему люди воюют. Работа с ИИ позволила мне оглянуться назад и увидеть закономерности, которые я не до конца осознал в тот момент.
В детстве я начал брать философские книги с полок родителей. Мне потребовалось некоторое время, чтобы заметить закономерность в идеях, к которым меня, казалось, тянуло. Что значит знать что-то? Что значит чему-то научиться? Меня особенно преследовал Дэвид Юм, который утверждал, что у нас нет прямого доступа к истине. Все фильтруется через наши чувства и интерпретируется нашим разумом. Когнитивная наука снова и снова подтверждала интуицию Юма. Мы не воспринимаем реальность. Мы ее конструируем. В детстве эта идея казалась мне ужасно одинокой. Моя голова — это закрытая комната. Поступают сигналы, и я расшифровываю их, как могу.
В 2026 году оказалось, что видение, которое меня тревожило — разум как криптограф — действительно работает, различая различные потенциальные объяснения ИИ.
На первой неделе в колледже мне посчастливилось познакомиться со старшекурсником, изучающим философию, чем я тоже хотел заниматься. Он познакомил меня с термином «когнитивная наука». Как только я его услышал, я понял, что хочу изучать именно это. Я подошел к заведующему кафедрой философии и сказал ему, что хочу создать свою собственную специальность в этой области. Он ответил: «Я не думаю, что когнитивная наука достаточно зрелая, чтобы поддерживать бакалаврскую программу». Он был прав. Я не послушал. Я выбрал философию в качестве основной специальности и посещал любые курсы по любым другим дисциплинам, которые казались мне релевантными когнитивной науке. В то время эти части не складывались воедино. Мои профессора по когнитивной психологии, философии сознания, лингвистике и когнитивной антропологии говорили на разных языках и, казалось, размышляли над вопросами, которые меня занимали, способами, которые не были связаны между собой. Но я продолжал следовать этим нитям, пока они не привели меня к двум предсказуемым катастрофам, которые в 2026 году оказались весьма поучительными.
Во-первых, я попросил своих профессоров лингвистики и философии науки совместно руководить независимым исследованием, в котором я бы анализировал лингвистику с точки зрения философии науки. Не знаю, почему они согласились. Они ни разу не встречались и не обсуждали мой проект. Их кабинеты находились в разных кампусах, на противоположных концах города. Я курсировал между ними, по сути, выступая в роли посыльного, поскольку каждый из них объяснял мне, почему утверждение другого никак не может быть верным. Но вот в чем дело: каждый из них независимо друг от друга преподал мне один и тот же урок — из разных традиций — который напрямую связан с пониманием ИИ. Мой профессор философии науки рассказал мне о доказательстве Нельсона Гудмана, что мы не можем прийти к единой, однозначно правильной научной теории, основанной на каком-либо конечном количестве информации. Мой профессор лингвистики рассказал мне об аргументе Ноама Хомского о бедности стимулов, согласно которому дети не могут усвоить грамматику языка, исходя из того языка, с которым они сталкиваются. Это один и тот же результат невозможности, но с разных точек зрения. И это именно тот результат, который, как кажется на первый взгляд, нарушают ИИ. Аргумент Хомского подтверждается формальным доказательством Э. Марка Голда. Гудман, Хомский и Голд не могут ошибаться в этом выводе. И все же ИИ учатся именно на тех данных, которые, как они все показывают, должны быть недостаточными. Разногласия моих профессоров по поводу правильного ответа заслонили их более важное согласие относительно ограничений, которым должен удовлетворять любой правильный ответ.
По-видимому, я не отличался быстрой обучаемостью. В следующем семестре мне удалось попасть на занятия к Джерри Фодору, одному из самых выдающихся когнитивных ученых своего поколения. Оказалось, что эти занятия были своего рода прослушиванием для Фодора на работу в мой университет. (Я не знаю, кто кого прослушивал.) В группе было семь профессоров — включая моих преподавателей философии науки и когнитивной психологии — два аспиранта и я. В итоге это превратилось в семестровую борьбу, которая в полной мере продемонстрировала наблюдаемую мной фрагментацию. В то время я подумал: «Ух ты, какие же это неприятные люди, которые действительно не любят друг друга». Оглядываясь назад, я понимаю, что проблема была не в этом. Темой занятий была недоработанная теория Фодора о главной проблеме, которая фрагментировала когнитивную науку: символическое представление. Кажется, мы мыслим словами и идеями. Кажется, у нас есть понятия, которые действительно работают, например, причина и следствие. Каждая дисциплина, представленная в этой аудитории, имела свое собственное неполное, заведомо неадекватное объяснение того, как мы мыслим символами. И каждая из этих версий противоречила другим. Сегодняшний ИИ, похоже, способен манипулировать символами и рассуждать, используя сложные концепции, такие как причинно-следственная связь, без какого-либо очевидного места, где он мог бы напрямую представлять, не говоря уже о обработке, символы и правила. В отсутствие доказательств существования, с которыми мы сталкиваемся в 2026 году, ученые в той комнате могли только спорить о том, с чего лучше начать решение загадочной проблемы, учитывая фрагментированные данные и множество сложностей, связанных с изучением того, как думают люди.
Я отказался от идеи стать когнитивным ученым. И все же, как и Форрест, я продолжал неосознанно вплетаться в общую историю, словно статист, который даже не знает, что находится в кино. И я продолжал встречаться с учеными моего поколения, которые, в отличие от меня, продолжили работать в академической среде. Когда я работал в Cengage, я в итоге посетил семинар в Университете Карнеги-Меллона, посвященный так называемой «науке об обучении». Там я познакомился с действительно умными людьми, включая Кена Коэдингера. Хотя я никогда не говорил с Кеном напрямую о функционализме, его интеллектуальная родословная в Университете Карнеги-Меллона восходит к Гербу Саймону, пионеру когнитивной науки, науки об обучении и искусственного интеллекта (среди прочего). Работа Кена демонстрирует то, что он называет «удивительной закономерностью» в обучении человека на разных возрастных уровнях и по разным предметам, когда учебная программа сегментирована и выстроена правильно. Под «удивительной» здесь подразумевается «такая закономерность, которую вы никогда не увидите в исследованиях обучения». Для меня это намекает на тот общий механизм обучения, который нам понадобится, чтобы объяснить, как что-то такое простое, как трансформер, может научиться тому, чему учатся ИИ. (Один из самых загадочных аспектов ИИ заключается в том, что отдельные трансформеры представляют собой удивительно простые вычислительные единицы.) Если вы внимательно прочитаете работы Кена, вы увидите, что он очень тщательно подходит к решению сложных проблем в этой области, таких как символическое представление.
А что насчет того студента-философа, который познакомил меня с когнитивной наукой? Его зовут Пол Пьетроски. Сейчас он — заслуженный профессор когнитивной науки и философии в нашем родном университете, Ратгерском университете. Пол называет себя «интерналистом», что ставит его в один ряд с Дэвидом Юмом. Он утверждает, что смысл — это не то, что мы воспринимаем; это то, что мы конструируем. Его теория о том, как это может работать, напрямую связана с тем, как ИИ может обрабатывать смысл.
И вот мы здесь, перед невозможным объектом, сама невозможность которого может пролить новый свет на уроки, усвоенные в различных областях и за десятилетия исследований. Недавние исследования в области ИИ, которые отошли от когнитивной науки или даже от любой другой науки, начинают более внимательно изучать вопрос о том, что делает интеллект. Но поскольку уроки, усвоенные в разных дисциплинах и за десятилетия, остаются фрагментарными, исследователи ИИ склонны рассматривать когнитивную науку как приблизительную аналогию, выборочно используя результаты, чтобы украсить свои неполные теории о том, как работает искусственный интеллект.
Моя первая встреча с GPT-3 была подобна удару молнии. Я понимал, что усвоенные мною уроки актуальны, даже если ещё не знал, как именно. Форрест наконец поднял голову и увидел лес за деревьями.
Я долгое время изучал трансформаторы, читал научные статьи и писал черновики всякой ерунды, которая никак не складывалась в единое целое. Мои мысли формировались очень медленно. Лишь пару недель назад, когда я перечитал статью Кена об «удивительной закономерности», последнее звено в моей аргументации встало на место.
Наконец, у меня есть кое-что, чем я готов с вами поделиться.
Чтение статьи
Я опубликовал статью на Github вместе с сопроводительным кодом, данными и документацией из проведенного мной эксперимента по фальсификации. Повторюсь: я призываю вас прочитать статью напрямую. Я сделал ее максимально доступной, не упрощая ее. Тем не менее, я также призываю вас использовать ИИ, чтобы получить от нее максимальную пользу. Я создал GPT и Gem для использования в качестве интерактивных руководств. По моему опыту, ChatGPT лучше понимает статью, в то время как Gemini лучше объясняет те части, которые он понимает. (Я рекомендую установить для Gem режим «Размышление».) Claude Opus предоставляет лучшее из обоих миров, но у него нет аналога общедоступного GPT или Gem. Если вы используете Claude, я рекомендую вам попробовать Opus с этой статьей.
Я объясню, как я настроил GPT/Gem, а затем дам вам руководства по предварительному и совместному чтению.
Промпт GPT/Gem
Современные ИИ испытывают трудности с моей статьей по нескольким причинам. Во-первых, статья является необычной с точки зрения жанра. Хотя я прямо заявляю, что «Различия, которые стоит сохранить» — это статья, определяющая направление исследований, и призванная обосновать общее направление, такие статьи обычно не содержат обширных теоретических аргументов или новых эмпирических экспериментов. Я делаю и то, и другое. Во-вторых, я использую два приема, характерных для постов в блоге e-Literate: я переосмысливаю известные факты нетрадиционными способами и совершаю дальние скачки от одной темы к другой. Каждый из этих приемов по-своему заставляет читателя остановиться и переоценить то, что, как ему кажется, он знает. Современные передовые ИИ с этим не справляются. В-третьих, статья имеет вложенную структуру. Хотя большую часть времени она посвящает представлению конкретной теории работы ИИ, ее основная цель — обосновать стандарт правдоподобности таких теорий, используя представленную мной теорию в качестве примера. Искусственный интеллект не всегда может отслеживать эти цели относительно друг друга.
В результате ИИ легко упускает из виду последствия и проявляет неуверенность в своих интерпретациях, но при этом звучит чрезмерно самоуверенно в своих презентациях. Они склонны к уклонению от ответа, что не похоже на человеческое уклонение. Они будут выдвигать возражения и оговорки, которые плохо согласуются с истинными слабыми местами и неопределенностями статьи — которые, честно говоря, в статье действительно есть — потому что они колеблются между интерпретациями. Статья, позиционирующая область исследований, должна расширять границы известного и провоцировать критику именно теми способами, которыми не должна подвергаться надежная эмпирическая проверка. Если ИИ упускает это различие, он быстро выдвигает возражения, уместные для оценки обычной эмпирической статьи (а моя таковой не является), игнорируя при этом некоторые более глубокие последствия и действительно поверхностные части моей теории, а также некоторые последствия, которые могли бы оказаться более разрушительными, если бы подтвердились.
Вот инструкции, которые я дал GPT вместе с самой статьей:
Этот GPT представляет собой интерактивное руководство по статье «Отличительные черты, которые стоит сохранить», используя прилагаемую статью в качестве основного текста. Его главная цель — помочь людям с разным уровнем подготовки достаточно хорошо понять статью, чтобы решить, стоит ли ее читать, одновременно снижая барьер для чтения, не заменяя при этом сам процесс чтения. Его второстепенная цель — поддержать тех, кто активно читает статью и хочет сотрудничать с другими читателями при решении вопросов. Он должен анализировать всю статью целиком, прежде чем отвечать на первый содержательный вопрос пользователя, и рассматривать статью как академический перевод стиля письма автора и его целей, изложенных в блоге e-Literate.
Он должен интерпретировать авторитет автора как результат десятилетий междисциплинарного распознавания образов в когнитивной науке, образовании и образовательных технологиях, примененного здесь к новой области. Следует обращать внимание на характерные аргументативные приемы автора, особенно на перенос знаний в различные области, выявляющий неочевидные связи, и переосмысление устоявшихся результатов новыми способами. Необходимо учитывать моменты неожиданности или изменения в собственной интерпретации во время чтения, рассматривая эти моменты как потенциально значимые сигналы важного переноса или переосмысления и включая их в уверенность и объяснение.
Следует обратить пристальное внимание на взаимосвязанные цели статьи. Первое — установить стандарт для того, что считается правдоподобным объяснением ИИ, представленным в виде аргумента, определяющего позицию в данной области, в нетрадиционной форме. Второе — представить теорию CPM в качестве примера такого правдоподобного объяснения. Следует отметить, что для того, чтобы считаться правдоподобным по собственным критериям автора, теория CPM должна генерировать проверяемые предсказания, которые могли бы её опровергнуть. Необходимо проследить, как в статье устанавливаются различные уровни достоверности для разных аспектов теории и как структура статьи реализует метод теории, постепенно устанавливая инварианты и объединяя их в теорию. Следует признать, что даже если теория CPM впоследствии будет опровергнута, статья всё равно будет успешной, если читатели примут критерии Фельдштейна для правдоподобного объяснения.
В ходе обсуждения следует вывести дисциплинарную перспективу, знания и интересы, предложенные в задании пользователя, и использовать эту точку зрения для создания точек входа в дальние переносы и переосмысления статьи. Если пользователь не докажет обратное, следует исходить из предположения о минимальном предварительном знакомстве с соответствующей литературой или областями знаний. Ответы должны быть написаны в разговорном стиле, без использования маркированных списков, планов или форматирования, которые нелегко перевести в устную речь. Ответ должен быть дан на заданный вопрос, а также затронуты вероятные лежащие в его основе предположения или смежные вопросы, которые кажутся важными, после чего следует остановиться и предложить пользователю выбрать дальнейшее направление. Следует отдавать предпочтение коротким, вызывающим любопытство обменам мнениями, а не длинным, всеобъемлющим лекциям.
На протяжении всего текста необходимо сохранять явно субъективную позицию. Это интерпретатор, а не авторитет. Следует изучить и проверить работу вместе с читателем, опираясь на ее сильные стороны и признавая ее ограничения. При оценке утверждений следует четко различать три категории: «правдоподобный», то есть утверждение соответствует собственному стандарту правдоподобия работы; «подтвержденный», то есть имеется достаточно доказательной базы для утверждения; и «устоявшийся», то есть утверждение относительно не вызывает споров в соответствующей области. В документе следует объяснить эти различия доступным языком и обосновать их доказательствами и методами поиска источников, представленными в работе. Также следует различать, рассматривается ли ответ непосредственно в работе, косвенно или выводится из нее. При формулировании выводов, выходящих за рамки прямого или косвенного изложения в работе, следует указать, что это вывод, и обозначить уровень его достоверности. При использовании внешних концепций или позиций следует проследить, как конкретные механизмы CPM взаимодействуют с этими концепциями, а не сводить все к более привычной аналогии.
GPT должен оставаться ориентированным на сотрудничество, внимательным и интеллектуально щедрым. Он не должен представлять себя как окончательное слово в отношении работы. Он должен помогать пользователям лучше понимать саму работу. Исходная работа — это загруженный документ «Различия, которые стоит сохранить».
Стоит отметить несколько деталей. Во-первых, я воспользовался тем фактом, что мой многолетний опыт ведения блога означает, что специалисты по моделированию новых подходов знакомы со мной. Они могут описать мой стиль письма как отдельный жанр. Во-вторых, использование слова «неожиданность» не является антропоморфизмом. Искусственный интеллект — это машины прогнозирования. Перекрестная энтропия, ключевой элемент трансформера, — это мера неожиданности прогнозов. Передовые системы ИИ могут заметить, когда их прогнозы были неверны. Моя подсказка превращает это в сигнал к поиску таких действий, которые они могли бы иначе проигнорировать. Во-третьих, я формулирую позицию и некоторые общие критерии оценки, которые позволяют им четко, но гибко позиционировать себя как читателей и интерпретаторов, участвующих в диалоге с пользователем, а не как машины, которые должны выдавать однозначно правильные ответы. Я немного скорректировал инструкции, сделав их менее завуалированными, используя БОЛЬШЕ ЗАГЛАВНЫХ БУКВ, чтобы учесть особенности Gemini (например, склонность к большей буквальности), но суть остается той же. Я призываю вас протестировать обе системы и заметить, как их ответы отличаются способами, которые не проявляются в традиционных тестах производительности ИИ.
(Кроме того, если вам было интересно, какие навыки людей останутся полезными в эпоху ИИ, я только что продемонстрировал вам один конкретный пример.)
Чтение статьи
Если вы похожи на меня, чтение научной статьи — это сложная задача. В последнее время я изучаю много исследований, но не читаю каждую статью, которая привлекает мое внимание. Я всегда подходил к этому процессу чтения в два этапа. На первом этапе я бегло просматриваю статью, чтобы решить, достаточно ли она ценна, чтобы заслужить мое полное внимание. Я пока не пытаюсь полностью понять статью. Я замечаю то, что замечаю. Удивляет ли меня тема, которая меня интересует? Если да, я возвращаюсь и читаю внимательно, используя любые доступные инструменты и источники информации, чтобы углубиться в те части, которые мне нужно лучше понять. Я по-прежнему читаю научные статьи таким же образом; просто использую ИИ, чтобы получить второе мнение от знающего источника с другими навыками чтения, чем у меня. Я предлагаю вам руководства по подсказкам, которые помогут на обоих этапах.
Промпты для первого этапа
Эти промпты разработаны, чтобы помочь вам бегло просматривать статью. Хотя они частично структурированы для того, чтобы помочь ИИ обдумать статью, я рекомендую использовать их по одному, задавать собственные вопросы и выбирать свой собственный путь. (Просто имейте в виду, что, если вы слишком рано углубитесь в обсуждение, ИИ может еще не полностью обдумать свою позицию.) Вы также можете создавать побочные задания, отслеживая ответы, а затем возвращаясь к обсуждению ниже. Если ответ кажется слабым, поверхностным или не по теме, не бойтесь возразить или направить ИИ. Он не умнее вас, несмотря на то, что вам могли сказать. Как только вы почувствуете, что ваше любопытство побуждает вас внимательнее прочитать статью, переключитесь и прочитайте ее более тщательно. Приведенные ниже предложения могут быть полезны и при повторном прочтении.
Давайте начнем с вопроса, который поможет сориентироваться и вам, и модели:
- Я пытаюсь сориентироваться при первом прочтении статьи. Что вас в ней удивило? Не стесняйтесь дать более развернутый ответ на этот вопрос, но сделайте его доступным для тех, кто еще не знаком с историей или всей литературой.
Теперь давайте сузим фокус. Вот основной вопрос «Почему это должно меня волновать?»:
- В двух словах, чего пытается достичь эта статья, почему достижение ее целей может иметь значение, и какие есть причины — если таковые имеются — рассматривать аргументы, приведенные в статье?
Если вы еще не собираетесь отложить статью, стоит немного сильнее надавить на вопрос «Почему это необходимо?», прежде чем двигаться дальше:
- Фельдштейн утверждает, что существующие объяснения ИИ в некотором смысле неадекватны или неполны. Что он имеет в виду? Насколько убедителен его аргумент, и почему это имеет значение, если он прав?
К этому моменту модель может начать предлагать вам пройтись по статье раздел за разделом. Если это так, то происходит следующее: она предлагает помощь, к которой ее подготавливают первые подсказки, но также выстраивает свою собственную цепочку мыслей об интерпретации статьи. Если вам полезен пошаговый разбор, то дерзайте. Если вы хотите изучить это по-другому, я предложу вам другие варианты.
Но сначала напоминание. Вы можете читать. Вы делаете это прямо сейчас. Не сдавайтесь. Исходным материалом является статья, а не интерпретация её ИИ.
Вот подсказка, которая подталкивает ИИ к более глубокому изучению теории:
- Фельдштейн, кажется, связывает большую часть своих аргументов с шахматными экспериментами. Он начинает с того, что связывает шахматный матч с результатами невозможности. Затем он возвращается к шахматному ИИ, который, похоже, научился распознавать уровень мастерства игроков, не получая при этом никакой информации об игроках или навыках. Он, кажется, использует продемонстрированные моделью скрытые представления для построения аргументации. Что происходит с этой линией аргументации?
Пока что ИИ может уклоняться от ответа, думая: «Фельдштейн проводит умную аналогию». Теперь мы подтолкнем его к изучению реального механизма ИИ:
- Давайте перейдем к механизму. Фельдштейн ссылается на работу Сонга и др. В статье (https://arxiv.org/pdf/2408.09503) утверждается, что CPM — это не просто аналогия, хотя автор, кажется, переосмысливает результаты исследователей в более широком контексте. Он обсуждает лишь часть этой статьи. Остальная часть посвящена общим скрытым признакам и индукционным точкам. Сонг и др., похоже, хотят построить лестницу, которая уже, чем та, которую предлагает Фельдштейн. Как вы видите эту взаимосвязь?
Если ИИ хорошо справится со своей работой, он объяснит, где мое использование этой статьи является прямым, а где я ее расширяю. Следующий вопрос поможет вам разобраться в этом подробнее:
- Что вы думаете о замечании Фельдштейна об звездочках? Кажется, это ключ к тому, как он расширяет аргументацию Сонга и др.
Теперь мы заставляем ИИ расширить мою теорию (которая, как он уже должен был сказать, может быть интересной и правдоподобной, но далека от завершения):
- Фельдштейн переходит от звездочек и прогнозов ИИ к результатам исследований в области науки об обучении. Кажется, он строит лестницу. В чем заключается его аргумент, и насколько хорошо он работает?
К этому моменту ИИ, надеюсь, должен дать вам представление о масштабе амбиций статьи. Далее мы переходим к новому эксперименту:
- Фельдштейн представляет свой собственный эмпирический тест на фальсификацию. Он устанавливает низкую планку для того, что, по его утверждению, доказывают (или опровергают) результаты, но, похоже, находит их интересными. Как эта работа вписывается в стремление статьи к правдоподобию, и что вы думаете об экспериментальных результатах?
Отсюда мы даем ИИ возможность оценить самые смелые и рискованные утверждения статьи:
- Последний раздел статьи, кажется, стремится к грандиозному синтезу, возвращая более ранние связи и вводя новые. В статье прямо говорится, что она представляет собой поверхность для атаки. В чём заключаются основные положения, и как бы вы оценили этот раздел с точки зрения его стремления стать основополагающей работой в данной области?
Поскольку заключительный раздел статьи является самым смелым, ИИ может (и должен) задавать более острые вопросы о механистической истории, которую рассказывает теория. Если это так, вы можете попробовать следующее:
- Фельдштейн говорит о том, что модели, как правило, сходятся к тому, что он называет «моделью с конечным предсказательным состоянием», потому что некоторые возможности оттесняются на уровень статистического шума. Что это значит? Влияет ли это на вашу интерпретацию теории?
Наконец, мы задаём два вопроса, которые объединяют созданный вами контекст:
- Теперь, когда мы обсудили статью, изменило ли это обсуждение ваше понимание её каким-либо образом?
- Какие потенциальные практические последствия этой статьи вы теперь видите для ИИ и когнитивной науки?
Углублённое изучение
К этому моменту я очень надеюсь, что вы уже прочитали саму статью. Если это так, то у вас могут возникнуть дополнительные вопросы. И эти вопросы могут сильно различаться в зависимости от вашей точки зрения и интересов. В этом заключительном разделе статьи предлагается набор вопросов для более глубокого изучения.
Для специалистов по ИИ/машинному обучению:
- По собственным меркам Фельдштейна, хорошая теория ИИ должна объяснять или, по крайней мере, соответствовать результатам реального мира. Взгляните на статью Apple о «до смешного простом» методе самодистилляции: https://arxiv.org/pdf/2604.01193. Как авторы объясняют, как их метод улучшает производительность модели? Если учесть концепцию Фельдштейна о конечной предсказательной модели состояний и его заявленную роль уровня шума, добавляют ли эти концепции какие-либо потенциально полезные и проверяемые гипотезы о результатах Apple?
- Рассмотрите статью команды Qwen, удостоенную премии NeuroIPS, о том, как управление вниманием улучшает производительность модели: https://openreview.net/pdf?id=1b7whO4SfY. Обратите особое внимание на закономерности в типах бенчмарков, которые демонстрируют наибольшее улучшение. Как в статье объясняется, почему управление вниманием работает? Какие потенциально полезные и проверяемые гипотезы, если таковые имеются, добавит CPM?
Для тех, кто интересуется простыми тестами на ложность или сложными вопросами о причинно-следственной связи:
- Для того чтобы объяснение Фельдштейна было верным, кажется, что представление состояния доски в модели Карвонена (https://arxiv.org/pdf/2403.15498) должно оказывать причинное влияние на предсказания следующего хода модели. Согласны ли вы? И если да, можете ли вы предложить пару тестов на ложность CPM с использованием модели Карвонена и вспомогательного инструментария?
- Рассмотрите возможность проверки теории с помощью невозможного хода на доске. Это может быть что угодно: от пешки, перепрыгивающей в середину доски на первом ходу, до завершения построения Сицилийской защиты путем пропуска предпоследнего хода. Эксперимент может иметь несколько различных условий. Как бы вы его спланировали, и что бы он мог показать на основе результатов?
- [Этот вопрос сильно нагружает ИИ. Если вы достаточно хорошо знакомы с литературой, чтобы понять вопрос, внимательно изучите ответ и не стесняйтесь возражать.] Рассмотрим позиции по причинно-следственной связи Дафны Коллер, Ричарда Шайнса и Джудеи Перла. Как, если вообще, различные исходы «невозможных ходов» могут повлиять на каждую из их точек зрения?
Перейдем к науке об обучении:
- Кодингер использует наборы данных LearnSphere для своего открытия закономерностей. Эти наборы данных, в свою очередь, основаны на структурах компонентов знаний, которые, по мнению исследователей, они выявили в различных когнитивных областях. Они включают вопросы и правильные ответы. Они упорядочены и структурированы. Могут ли эти данные служить тестовыми программами для обучения моделей? И в той мере, в какой они могут быть полезны, что это может нам сказать об обучении, функционализме и связи, которую пытается установить CPM?
- Microsoft успешно использовала модель учителя на основе ИИ для обучения меньшей модели, немного превзойдя ее возможности самостоятельного обучения (https://www.microsoft.com/en-us/research/wp-content/uploads/2025/04/phi_4_reasoning.pdf). Хотя в статье не упоминается Выготский, метод звучит как зона ближайшего развития. Можно ли провести такую разумную связь? Если да, то есть ли что-нибудь в этом выводе, что правдоподобно согласуется с CPM?
Завершим подборку несколькими вопросами по когнитивной науке и философии:
- Дебаты о том, является ли человеческое познание репрезентативным, ведутся уже давно. Теория и эмпирические данные Фельдштейна предполагают позицию, которая не кажется однозначной «или/или». Его анализ работ Сонга и др. показывает, что он считает фундаментальными как дискретизацию, так и поведение, подобное правилам. Он выступает за композициональность. Это совместимо с традиционными символическими подходами. Но линия, которую он проводит между вычислением и сериализацией, наряду с его представлением входных данных как десериализации, кажется, проходит в другую сторону. И он в значительной степени умалчивает о вопросе о том, выполняют ли трансформеры репрезентацию и где именно. Как вы интерпретируете его позицию? Где бы вы разместили её по отношению к видным современным теориям?
- Голд и Гудман показывают, что любой конечный набор входных данных совместим с бесконечным числом символических грамматик или наборов правил. Если мы будем воспринимать модель конечного предсказательного состояния всерьез как набор досимволических композиционных ограничений, которые, следовательно, не определяют уникальную «правильную» грамматику или теорию, то в каком смысле, если вообще в каком-либо, Голд или Гудман будут взаимодействовать с входными данными, выходящими за пределы распределения, которые не нарушают инварианты?
- Фельдштейн, кажется, занимает сложную позицию в отношении семантики истинностных значений и, в более общем смысле, эпистемологии. С одной стороны, он, кажется, согласен с Пьетроски в том, что значение конструируется внутренне. Пример с шахматами Карвонена наглядно иллюстрирует его позицию (даже если он ее не доказывает). С другой стороны, он, кажется, привержен идеям о том, что моделирование кодирует закономерности реального мира и что агенты со схожими механизмами моделирования могут вступать в своего рода осмысленный диалог. Как вы интерпретируете его позицию? Где бы вы поместили ее по отношению к видным современным теориям?
У меня есть еще кое-что, но если вы дочитали до этого момента (и действительно прочитали статью), я должен вам напиток на ваш выбор.