Как все уже успели заметить, на рынке компьютерных комплектующих очень сильно взлетели цены, в частности на оперативную память. Основной причиной подорожания является рост спроса на компоненты со стороны дата-центров из-за развития искусственного интеллекта. Производной из сложившейся ситуации стало то, что компании стали сокращать производство других видов памяти в угоду создания более дорогой и высокоскоростной памяти, которая нужна ИИ-ускорителям NVIDIA. Именно эта гонка за мощностями для ИИ и формирует сегодняшний рынок памяти. Однако наше внимание в этой статье сосредоточится не на анализе проблемы, а на том самом «решении», которое активно продвигается.
Ненасытные алгоритмы
Для начала нам стоит понять, как ИИ вообще нагружает память. Любая система искусственного интеллекта создается для работы в конкретной сфере. Её способность обучаться, накапливать данные и принимать решения обеспечивается лежащими в её основе алгоритмами – нейронными сетями. Простыми словами, ИИ – «сытно пообедать», а нейросеть – «рецепт борща».
Как вы понимаете, наесться можно и другим любым блюдом, но для этого нейросеть должна знать, как его приготовить. Тут на сцену выходит процесс ее обучения. Нейросеть частично похожа на мозг человека, так как состоит из множества соединенных друг с другом элементов, которые имитируют нейроны головного мозга.
Каждый нейрон в такой сети выполняет преобразование входных сигналов в выходной и соединен с другими. Входные нейроны образуют интерфейс сети. Информация поступает в систему через входной слой, который принимает сигналы. Все слои нейронной сети последовательно обрабатывают эти сигналы, пока они не дойдут до выходного слоя, где формируется конечный результат.
Нейронная сеть предназначена для преобразования информации. Для этого ее необходимо обучить, используя эталонные примеры пар «вход-выход» или внешнюю систему оценки. Специальный обучающий алгоритм настраивает параметры нейронов и силу их связей, чтобы работа сети стала соответствовать цели. Без такой настройки сеть работает некорректно. В основе использованного в исследовании метода лежит обратная передача сигналов ошибки – от выходов сети к ее входам, то есть в сторону, обратную нормальному потоку данных.
Нейросети грузят оперативную память по трем основным причинам:
1. Гигантский размер самой модели. Современные сети содержат миллиарды параметров (весов). Каждый вес – это число в памяти. Например, 7 миллиардов параметров в формате FP16 (2 байта) занимают примерно 14 ГБ.
2. Дополнительные данные для вычислений. Во время работы, особенно при обучении, система хранит не только веса, но и промежуточные результаты (активации), градиенты для обновления и состояние оптимизатора. Это может увеличить общее потребление памяти в 3-5 раз по сравнению только с весами модели.
3. Объем входных данных. Обработка больших объемов данных (например, пакетов изображений или длинных текстов) требует одновременного хранения всех этих данных в памяти для эффективных параллельных вычислений.
И получается, что оперативная память должна вмещать не только саму модель, но и все промежуточные данные для ее работы и обрабатываемую информацию, что приводит к высокой нагрузке.
Философский камень
Память нынче на вес золота… Но что делать, если работать с нейросетями и языковыми моделями хочется, а ресурсов для этого нет? Энтузиасты с GitHub собрали ИИ, которая запускается на старом процессоре Zilog Z80 1976 года.
Z80-μLM – это чрезвычайно маленькая и оптимизированная для 8-битного процессора Z80 языковая модель. Её ключевая особенность – использование 2-битного квантования весов – это метод сжатия нейронных сетей, при котором каждый параметр (вес) модели представляется всего 2 битами информации. Благодаря этому модель умещается в 40КБ.
Ее работа делится на четыре основных этапа:
1. Обработка ввода. При работе с моделью, она не «понимает» слова в привычном смысле. Z80-μLM разбивает ввод на три последовательных символа (например, «hello» - «hel», «ell», «llo»). Затем модель превращает их в число от 0 до 127. В результате любой текст преобразуется в набор из 128 чисел, где каждое число показывает, насколько сильно представлена та или иная триграмма символов. Это позволяет модели понимать опечатки и перестановки при обработке ввода.
2. Сетевая архитектура. Это простая нейронная сеть с несколькими скрытыми слоями. Все вычисления – целочисленные, с использованием 16-битной арифметики, доступной на Z80.
3. Оптимизация. На этом этапе происходит 2-битное квантование весов, то есть они могут принимать только одно значение из четырех: -2, -1, 0, 1. Затем следует перемножение значения активации нейрона на значение веса. Значение активации нейрона – это выходной сигнал, получаемый после преобразования взвешенной суммы входных данных нелинейной функцией.
4. Формирование вывода. На выходе сети формируется распределение вероятностей для каждого символа из ограниченного алфавита (например, A-Z, 0-9, «?», «!»). Модель выбирает следующий символ и генерирует ответ посимвольно.
Мал, да удал
Арсенал у модели невероятно простой:
· короткие диалоги с закрытым ответом (да/нет/возможно);
· игра «Угадайка» на 20 вопросов (аналог «Акинатора», но наоборот);
· работа с опечатками и перефразами слов;
· запуск на процессоре 1976 года.
Модель создана не для решения практических задач, а как технический эксперимент и ностальгическое развлечение. Она показывает, насколько можно сжать технологию, которая сегодня кажется сложной и ресурсоёмкой. Подробнее о процессе обучения модели можно прочитать на странице с моделью - https://github.com/HarryR/z80ai.
Post Scriptum
К сожалению или к счастью, автор статьи не решился испытать данный ИИ на своем компьютере, а потому провел анализ на основе тех файлов, которые были представлены в первоисточнике и не призывает никого целенаправленно устанавливать программу. Если захотите опробовать модель самостоятельно – действуйте на свой страх и риск.
Делитесь своими впечатлениями с нами в комментариях и пишите свои мысли по поводу кризиса ОЗУ! Всех благ!
Список источников:
1. Цены на оперативную память выросли втрое: почему и что будет с ценами в 2026 году? – https://www.vbr.ru/sovety/help/tekhnologii/pocemy-ozy-podorozhala-prognoz-cen/
2. В мире растут цены на оперативную память и SSD-накопители: почему так происходит и что будет дальше – https://t-j.ru/news/dram-price/?utm_referrer=https%3A%2F%2Fyandex.ru%2F
3. Астапов, А. А., Давыдов, Д. В., Егоров, А. И., Дроздов, Д. В., Глуховский, Е. М. Биометрическая идентификация, основанная на ЭКГ: некоторые современные подходы // Вестник РГМУ. 2016. №1. С. 38–43. DOI: 10.24075/brsmu.2016-01-06
4. Как устроена память нейросетей: от пары букв до всего «Гарри Поттера» – https://trends.rbc.ru/trends/industry/6672c7ec9a794745a901fe3f?from=copy
5. HarryR /z80ai - https://github.com/HarryR/z80ai