Z80-LM
Нейросеть, которая работает на процессоре Z80 с частотой 4 МГц и 64 КБ оперативной памяти😏
Минималистичнаяразговорная языковая модель, которая генерирует текст символ за символом и умещается в 40 КБ исполняемого файла.
Триграммное хэш-кодирование, текст хэшируется в 128 корзин, что делает модель устойчивой к опечаткам
2-битная квантизация весов: каждый вес принимает значение {-2, -1, 0, +1}, упакованные 4 веса в байт, 16-битная целочисленная арифметика, без операций с плавающей точкой
Автогенеративный режим, генерирует ответы символ за символом
Компактность: работает в CP/M's Transient Program Area (TPA)
Проект включает два готовых варианта:
TinyChat - разговорный чат-бот:
> hello
HI
> are you a robot
YES
> do you dream
MAYBE
Guess - игра "20 вопросов":
> is it alive
YES
> is it big
YES
> does it have a trunk
YES
> elephant
WIN
Модель не понимает вас в привычном нам смысле, но она чувствует форму вашего запроса. Благодаря триграммному хэшированию, фразы "hello there" и "there hello" выглядят одинаково для модели, порядок слов не важен
Ответы краткие (1-2 слова), но удивительно выразительные):
- OK - нейтральное согласие
- WHY? - сомнение в вашей логике
- R U? - экзистенциальный вопрос
- AM I? - отражение вопроса обратно
Под капотом: Z80 ассемблер
Ядро модели, это плотный цикл умножения-накопления на чистом ассемблере Z80. Веса распаковываются из 2-битного формата, умножаются на активации и накапливаются в 16-битных регистрах (HL, DE, BC). После каждого слоя результат сдвигается вправо на 2 бита для предотвращения переполнения
Проект включает инструменты для генерации обучающих данных с помощью Ollama или Claude API, а также полную документацию по обучению собственных моделей
