DeepSeek выложила DeepSelect, высокопроизводительную реализацию ядра TopK, которое используется в механизме разреженного внимания DeepSeek Sparse Attention и на котором работают модели V3.2, V4 и V4.1. Относительно torch.topk из PyTorch ядро даёт ускорение от 2 до 20 раз. Быстрейший алгоритм зависит от типа данных, размера батча, размера словаря и величины k, поэтому библиотека заточена под два сценария: 🟢для индексатора в разреженном внимании, работает с bfloat16 при любых размерах батча и словаря; 🟢для сэмплирования, рассчитан на float32 и словарь около 128 тысяч элементов...