40 подписчиков
На фоне посредственных анонсов OpenAI мы пропускаем революцию.
Выпущена первая языковая модель, которая прогнозирует не токены, а байты.
EvaByte — это языковая модель на уровне байтов размером 6,5B, построенная на улучшенной архитектуре с многобайтовым прогнозированием и EVA — эффективным механизмом внимания, разработанным для масштабируемости и производительности. Обученная на 1,5 трлн байтов текста на естественном языке, математических данных и кода, EvaByte конкурирует с лучшими языковыми моделями с открытым исходным кодом на основе токенизаторов, используя в 5 раз меньше обучающих данных, превосходя их в задачах кодирования и декодируя в 2 раза быстрее.
Модель все еще обучается, но уже превосходит многих LLM старичков.
потестить онлайн можно здесь huggingface.co/...yte
Около минуты
23 января 2025