Портируем microGPT на Common Lisp с помощью LLM
Смотрите чего я навайбкодил: https://github.com/40ants/microgpt Это порт на Common Lisp скрипта microgpt, который недавно опубликовал Andrej Karpathy. Эта штука включает в себя код трансформера и инференс. То есть она может обучиться на каких-то входных текстах, а потом генерировать похожие тексты. Всё как у больших LLM, только буквально в одном Python-скрипте. Ну и, конечно, эта штука больше создана для обучения, а не для того, чтобы показывать хорошую производительность. В этом примере она учится на корпусе русских имен и может генерить новые, похожие по написанию: % ./microgpt.py num docs: 484 vocab size: 57 num params: 5152 step 1000 / 1000 | loss 2...