Ян Лекун славен и известен тем, что не стесняется суверенностью говорить вещи, которые кажутся ересью поклонникам консенсуса и общего

Ян Лекун славен и известен тем, что не стесняется суверенностью говорить вещи, которые кажутся ересью поклонникам консенсуса и общего мнения. Пока все обсуждают LLM и революционную роль трансформеров, Лекун полагает, что эта конкретная технология достигла своего пика возможностей — разнообразные улучшизмы будут, но прорывов уже не будет. Язык — гениальный, конечно, способ описания мира, но он — далеко не полная его репрезентация и слишком сильно скомпрессированная: модели мира должны включать другие репрезентации, возможно, специфичные для разных областей. Фундаментальные модели должны опираться на какие-то репрезентации фундаментальных свойств мира: e.g. gravity, object permanence, thermodynamics or physical and chemical laws, correctly encapsulated.

Здесь Лекун, конечно же, вспоминает системы 1 и 2 по Канеману (но, в отличие от Хуанга, как раз считает, что языковые модели ближе к эвристикам системы 1, а не рассуждениям системы 2). И дальше предлагает свои варианты построения неязыковых систем репрезентации мира. Посмотрим, куда это нас приведет, но, кажется, теперешние модели скоро потеряют гордый эпитет «фундаментальные», а пришедшие им на смену будут прорывом качественным, а не просто улучшением.

Читать текст не везде просто, но оно того стоит.

https://www.newsweek.com/ai-impact-interview-yann-lecun-llm-limitations-analysis-2054255