LLMs-from-scratch — репозиторий к книге Себастьяна Рашки, где GPT-подобную LLM собирают шаг за шагом на чистом PyTorch, без “скопируй и запусти”. Весь путь от данных до поведения ассистента: сначала токенизация и Dataset/Dataloader с перекрывающимися окнами, потом вручную реализуют Multi-Head Attention (softmax, causal masking и сборка голов), затем собирают GPT-движок из embedding’ов, трансформер-блоков и head’а. Самое редкое в подобных курсах — что attention и маскирование пишут руками: большинство тут останавливается на высокоуровневых импортов вроде nn...