🆕🔡 Символические модели могут прийти на смену трансформерам

Symbolica AI, стартап, разрабатывающий символические модели ИИ, объявил о привлечении $33 млн для решения проблем, связанных с обучением и развертыванием больших языковых моделей.

На этой неделе стартап Symbolica AI получил $33 млн на разработку ИИ с принципиально новой (по сравнению с трансформерами) архитектурой. Компания намерена решить дорогостоящие проблемы, связанные с обучением и развертыванием больших языковых моделей, подобных GPT-4, Claude 3 и Gemini. Сейчас трансформеры являются самыми востребованными моделями, но у них множество недостатков – они чрезвычайно сложны, дороги в разработке, обучении и эксплуатации, требуют огромного количества данных и энергии, их сложно проверять, и они имеют тенденцию к галлюцинациям.

🤖✍️ Библиотека нейротекста

Все самое полезное про ИИ-помощников вроде ChatGPT, Gemini, Bing и других вы найдете на нашем телеграм-канале «Библиотека нейротекста»

Symbolica использует структурированные модели, которые определяют задачи путем манипулирования символами, в отличие от трансформеров, которые используют контекстуальные и статистические отношения между входными данными и учатся на основе предыдущего контента, предоставленного им. Символы представляют собой набор правил, позволяющих предварительно обучать их для выполнения определенных задач – например, для написания программного кода или обработки текста.

Symbolica AI

Символьные модели используют математические структуры, которые определяют взаимосвязь между символами в соответствии с концепцией, известной как категориальное глубокое обучение. В недавно опубликованной совместно с Google DeepMind статье разработчики объяснили, что структурированные модели категоризируют и кодируют базовую структуру данных, что позволяет им работать с меньшей вычислительной мощностью и использовать меньше данных по сравнению с большими сложными моделями без структуры, такими как GPT.

Статья по теме

🤖🧐 Что такое GPT: раскрываем тайны трансформеров

По словам гендиректора Symbolica Джорджа Моргана, при должном использовании этого подхода к глубокому обучению вполне возможно наделить небольшую модель уровнем логических рассуждений, на которые сейчас способны только GPT-гиганты.

Более того, компания планирует создать набор инструментов, который позволит разрабатывать интерпретируемые модели – чтобы пользователи всегда могли проследить, что именно модель знает и как она пришла к определенному выводу. Это обеспечит высокую прозрачность и безопасность моделей, и значительно упростит процесс мониторинга и отладки.

Интерпретируемость – еще одно весомое преимущество символьных моделей перед трансформерами. Прозрачность необходима для создания продвинутого ИИ, и жизненно важна для отраслей с высоким уровнем регулирования, где ошибки могут привести к катастрофическим последствиям (здравоохранение, оборона и финансы).

***

Этот материал взят из нашей субботней email-рассылки, посвященной ИИ. Подпишитесь, чтобы быть в числе первых, кто получит дайджест.

Подписаться

(function () { let link = document .getElementById ("258e2653-a61e-4ebb-9841-6ad6299dd05a-https://proglib.io/w/cb53ab4a-12"); if (! link) return; let href = link .getAttribute ("href"); if (! href) return; let prefix = link .dataset .prefix; let action = link .dataset .action; link .addEventListener ("click", function (e) { let data = new FormData (); data .append ("url", href); apiFetch (action, { method: "POST", body: data }) .then (function (res) {}) .catch (function (err) { console .error (err); }); }) })();