Стремительное развитие генеративного искусственного интеллекта повлияло на все современные технологии. Различные статьи, изображения и даже видеоролики, появляющиеся в интернете, все чаще являются результатом работы не человека, а продвинутой системы искусственного интеллекта. Внутренние процессы больших языковых моделей очень сложны и непонятны тем, кто не владеет программированием, но получить общее представление о них можно с помощью электронной таблицы. На самом деле это не простая электронная таблица — в ней реализована полноценная модель OpenAI GPT-2, которую когда-то называли “слишком опасной” для публичного распространения.
По словам программиста Ишана Ананда, его проект — простой способ понять основы трансформеров (ИИ-моделей) в целом и GPT в частности. Он назвал проект "Spreadsheets-are-all-you-need" ("Таблицы – это всё, что нужно"), с отсылкой к названию статьи 2017 года "Attention is All You Need" от инженеров Google, заложившей основы современных передовых языковых моделей. Эти исследования инженеров Google легли в основу всех передовых программ LLM, которые мы видим сегодня. В данном случае электронной таблицы действительно достаточно для того, чтобы понять работу GPT, поскольку почти все шаги внутри большой языковой модели (LLM) представляют собой математические операции.
Любой пользователь может скачать эту таблицу и начать работать с GPT-2. Все, что вам нужно, это настольная версия Excel и желание узнать что-то новое. Ананд создал несколько поясняющих и обучающих видеороликов, которые вам следует посмотреть, чтобы понять, как устроена электронная таблица. Он использует небольшую версию GPT-2, имеющую всего 124 миллиона параметров. Хотя OpenAI не подтвердила количество параметров в своей последней модели GPT-4 Turbo, но предполагается, что их более 1 триллиона.
Поскольку модель LLM для электронных таблиц ограничена в своих возможностях, вы не можете ввести много данных. Она не поддерживает обучение и выполняет только вычисления вывода. Входной контекст может иметь длину не более 10 токенов по 10 символов в слове. Даже с учетом этих ограничений размер таблицы составляет 1,2 ГБ в двоичном формате Excel. Время обработки зависит от оборудования вашей системы, но может достигать нескольких минут.
Работа с таблицей начинается с примера ввода "Майк быстрый. Он двигается...", а следующий токен заполняется GPT-2. Следующее слово он правильно угадывает «быстро». Вы можете изучить вкладки электронной таблицы, чтобы увидеть, как данные сопоставляются с токенами и перемещаются по каждому шагу. Хотя этот проект и не столь полезен в практическом плане, как ChatGPT или ассистенты вроде Google Gemini, он поможет лучше понять принципы работы больших языковых моделей. Ананд отмечает, что лучше всего использовать его в качестве учебного пособия, ведь даже опытным разработчикам будет полезно увидеть LLM, переведенный в формат Excel.
Сначала Ананд пытался реализовать проект в Google Sheets, но онлайн-таблица не смогла обработать полную модель GPT-2. В онлайн-версии Excel также отсутствуют необходимые функции для запуска модели. Ананд не отказался от идеи адаптировать проект "Spreadsheets-are-all-you-need" для онлайн-среды, но пока единственный способ опробовать GPT-2 – скачать 1,2 ГБ файл Excel с GitHub.