10,2 тыс подписчиков
🔥 Код отладчика Transformer Debugger для работы с моделями от OpenAI опубликован на GitHub
OpenAI опубликовала код отладчика Transformer Debugger, предназначенного для работы с моделями машинного обучения. С его помощью проще понимать, почему языковые модели выводят определённые токены в ответ на запрос.
Transformer Debugger, как и любой отладчик для моделей машинного обучения поддерживает функции пошагового вывода, перехвата активностей и их трассировки. Разработчики компании отмечают, что утилита помогает понять, почему языковая модель уделяет внимание определённым токенами и почему выводит их в качестве ответа на запрос.
Выпуск включает в себя следующие компоненты:
⏩Neuron viewer — React-приложение для вывода информации об отдельных компонентах модели, включая фокусы внимания и нейроны MLP.
⏩Activation server — сервер, который взаимодействует с моделью и извлекает данные для вывода. Он же нужен для работы с общедоступными контейнерами Azure.
⏩Models — простая библиотека выводов для моделей GPT-2.
⏩Примеры наборов данных для нейронов MLP и фокусов внимания.
🖥 Код Transformer Debugger написан на Python и доступен на GitHub. Вместе с этим разработчики OpenAI поделились подробными инструкциями и документацией.
1 минута
13 марта 2024