Компания открыла исходный код LLM с 8 миллиардами параметров, Steerling-8B, обученного с использованием новой архитектуры, разработанной для обеспечения легкой интерпретируемости его действий. — techcrunch.com
Стартап Guide Labs из Сан-Франциско, основанный генеральным директором Джулиусом Адебайо и главным научным сотрудником Айей Абдельсалам Исмаил, сегодня предлагает ответ на эту проблему. В понедельник компания открыла исходный код LLM с 8 миллиардами параметров, Steerling-8B, обученного с использованием новой архитектуры, разработанной для обеспечения легкой интерпретируемости его действий: каждый токен, генерируемый моделью, может быть прослежен до его источника в обучающих данных LLM.
<>
Это может быть так же просто, как определение справочных материалов для фактов, цитируемых моделью, или так же сложно, как понимание того, как модель воспринимает юмор или гендер.
<>
«Если у меня есть триллион способов кодирования гендера, и я кодирую его в 1 миллиарде из этих триллиона вещей, которые у меня есть, вы должны убедиться, что нашли все эти 1 миллиард вещей, которые я закодировал, а затем вы должны иметь возможность надежно включать и выключать их», — сказал Адебайо TechCrunch. «С существующими моделями это можно сделать, но это очень хрупко… Это своего рода один из «святых Граалей» вопросов».
<>
Адебайо начал эту работу, получая докторскую степень в MIT, став соавтором широко цитируемой статьи 2020 года, которая показала, что существующие методы понимания моделей глубокого обучения ненадежны. Эта работа в конечном итоге привела к созданию нового способа построения LLM: разработчики вставляют в модель слой концепций, который группирует данные в отслеживаемые категории. Это требует больше предварительной аннотации данных, но с помощью других моделей ИИ они смогли обучить эту модель как их крупнейшее на сегодняшний день доказательство концепции.
<>
«То, что люди делают в плане интерпретируемости, — это… нейронаука на модели, а мы переворачиваем это», — сказал Адебайо. «То, что мы делаем, — это фактически проектируем модель с нуля так, чтобы вам не нужно было заниматься нейронаукой».
<>
Одной из проблем этого подхода является то, что он может устранить некоторые эмерджентные (возникающие) поведения, которые делают LLM такими интригующими: их способность обобщать новым способом то, на чем они еще не обучались. Адебайо говорит, что это все еще происходит в модели его компании: его команда отслеживает то, что они называют «обнаруженными концепциями», которые модель обнаружила самостоятельно, например, квантовые вычисления.
<>
Адебайо утверждает, что эта интерпретируемая архитектура станет необходимостью для всех. Для LLM, ориентированных на потребителя, эти методы должны позволить разработчикам моделей блокировать использование материалов, защищенных авторским правом, или лучше контролировать результаты, касающиеся таких тем, как насилие или злоупотребление наркотиками. Регулируемые отрасли будут требовать более контролируемых LLM, например, в финансах, где модель, оценивающая заявителей на кредит, должна учитывать такие вещи, как финансовые записи, но не расу. Существует также потребность в интерпретируемости в научной работе, еще одной области, в которой Guide Labs разработала технологию. Сворачивание белков стало большим успехом моделей глубокого обучения, но ученым необходимо больше понимать, почему их программное обеспечение нашло успешные комбинации.
<>
«Эта модель демонстрирует, что обучение интерпретируемых моделей больше не является своего рода наукой; теперь это инженерная задача», — сказал Адебайо. «Мы разобрались в науке и можем масштабировать их, и нет никаких причин, по которым это не соответствовало бы производительности передовых моделей», которые имеют гораздо больше параметров.
<>
Guide Labs заявляет, что Steerling-8B может достичь 90% возможностей существующих моделей, но использует меньше обучающих данных благодаря своей новой архитектуре. Следующим шагом для компании, которая вышла из Y Combinator и привлекла посевной раунд в размере 9 миллионов долларов от Initialized Capital в ноябре 2024 года, является создание более крупной модели и начало предоставления пользователям доступа через API и агентов.
<>
«То, как мы сейчас обучаем модели, является супер примитивным, и поэтому демократизация присущей интерпретируемости на самом деле станет долгосрочным благом для нас в рамках человеческой расы», — сказал Адебайо TechCrunch. «Поскольку мы гонимся за этими супер интеллектуальными моделями, вы не хотите, чтобы что-то принимало решения от вашего имени, что является для вас своего рода загадкой».
<>
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tim Fernholz