Найти тему
Спекулятивное декодирование в LM-Studio
В последнюю версию LM-Studio добавили новую функцию - спекулятивное декодирование. Мы джва года ее ждали. Ниже я расскажу, что это такое и как его использовать. Speculative decoding или, по-русски, спекулятивное декодирование - это метод ускорения генерации токенов большими языковыми моделями (LLM) за счет использования дополнительной модели меньшего размера. Спекулятивноедекодирования работает следующим образом. У вас есть две LLM с одинаковым словарем токенов, то есть нельзя использовать модели различных семейств, типа, llama и qwen, а вот llama-3...
1 месяц назад
Глубинно-рекуррентная языковая модель. Исследователи представили новую архитектуру LLM с рассуждениями в скрытом пространстве.
Это сенсация! То, что переведет привычные нам языковые модели на новый уровень. Опубликована научная статья и представлены веса глубинной рекуррентной модели со скрытыми рассуждениями. Суть в том (насколько я понял), что если обычная модель состоит из слоев (многослойный перцептрон), обычно их около 40 (в статье модель с 8 слоями), для получения каждого токена все эти 40 слоев просчитываются и на выходе получаем наиболее вероятный токен, то тут добавляется еще один слой (рекуррентный блок), причем добавляется сколько угодно раз для каждого вычисления...
1 месяц назад
мем
1 месяц назад
На фоне посредственных анонсов OpenAI мы пропускаем революцию. Выпущена первая языковая модель, которая прогнозирует не токены, а байты. EvaByte — это языковая модель на уровне байтов размером 6,5B, построенная на улучшенной архитектуре с многобайтовым прогнозированием и EVA — эффективным механизмом внимания, разработанным для масштабируемости и производительности. Обученная на 1,5 трлн байтов текста на естественном языке, математических данных и кода, EvaByte конкурирует с лучшими языковыми моделями с открытым исходным кодом на основе токенизаторов, используя в 5 раз меньше обучающих данных, превосходя их в задачах кодирования и декодируя в 2 раза быстрее. Модель все еще обучается, но уже превосходит многих LLM старичков. huggingface.co/...sft github.com/...yte потестить онлайн можно здесь huggingface.co/...yte
2 месяца назад
Многие считают, что корпорации создавшие ИИ будут владеть миром, но может будет и наоборот
2 месяца назад
Что такое агенты? Фреймворк smolagents от huggingface
Агенты в библиотеке smolagents — это мощные программы, управляемые искусственным интеллектом (LLM), которые могут выполнять сложные задачи, взаимодействуя с внешним миром через инструменты. Представьте их как мини-роботов, которым вы даете задание, а они самостоятельно планируют и выполняют его, используя доступные им инструменты. Основные концепции: Для чего нужны агенты? Агенты позволяют автоматизировать сложные задачи, которые требуют не только обработки текста, но и взаимодействия с внешним миром...
2 месяца назад
Вышла новая версия визуальной языковой модели moondrem2. модель: huggingface.co/...am2 гитхаб: github.com/...ile Инструкция по распознаванию взгляда на видео: github.com/...deo Moondream — это высокоэффективная языковая модель машинного зрения с открытым исходным кодом, которая сочетает в себе мощные возможности распознавания изображений с удивительно небольшим размером. Она разработана как универсальная и доступная модель, способная работать на широком спектре устройств и платформ. Проект предлагает два варианта модели: Moondream 2B: основная модель с 2 миллиардами параметров, обеспечивающая высокую производительность для задач общего назначения по распознаванию изображений, включая создание подписей, ответы на визуальные вопросы и обнаружение объектов. Moondream 0,5B: компактная модель с 500 миллионами параметров, специально оптимизированная для периферийных устройств, что позволяет эффективно использовать её на ограниченном по ресурсам оборудовании, сохраняя при этом впечатляющие возможности.
2 месяца назад
Реально, не стоит...
2 месяца назад
Если твоя ИИ девушка не локальная LLM, значит она проститутка
2 месяца назад
Перевод и дубляж любых видео бесплатно с помощью SoniTranslate
Ютуб уже завален роликами, озвученными одними и теми же закадровыми робоголосами. Деградация контента - полнейшая, люди вместо профессионального закадрового перевода иностранного материала просто отдают эту рутину на откуп нейросетям. Ввиду отсутствия альтернатив, мы это хаваем. Ниже я расскажу как присоединиться к касте таких видеоблогеров контентмейкеров и тоже начать засорять всевозможные видеоплощадки, тем более сегодня - это как никогда востребовано. Что мы имеем на сегодня? Существует несколько способов автоматической озвучки и перевода видеоконтента: 1...
2 месяца назад
Alibaba выпустили локальную модель с цепочками рассуждений, которая превосходит o1-mini, o1-preview, claude-3.5 sonnet и gpt4o. И у нее всего 32B. Это невероятно! Позвольте представить: QwQ-32B-Preview. Люди уже протестировали 4 битный квант (требует где-то 18 ГБ памяти) и даже он превосходит o1-preview и o1-mini. Помню, некоторые считали, что чтобы опенсорсу догнать gpt-o1 понадобиться минимум полгода, но прошло всего 2 месяца. Китайцы последнее время радуют.
4 месяца назад
ComfyUI наконец-то сделали небольшой шажочек к сути своего названия (удобный интерфейс) и выпустили приложение ComfyUI Desktop с человеческой установкой, то есть теперь не надо быть программистом на питоне с 20-летним стажем, а достаточно скачать и запустить exe-шник и наслаждаться "удобным" интерфейсом этого комбайна по генерации изображений (и не только). Всех поздравляю! А нет, не всех, только владельцев видеокарт nvidia (и еще маководов). Почему-то разработчики забили болт на всех остальных и ограничили установку. Хорошо, что у основного приложения есть портабельная версия (только для винды), которая запускается с bat-ника. Там чисто база и с пользовательскими узлами придется повозится (в десктопной версии встроен ComfyUI Manager, все можно скачивать изнутри программы). Другой способ установки, для совсем ленивых - это использование Stability Matrix, программы, которая по сути является менеджером пакетов заточенным на всевозможные программы по генерации изображений, в том числе и ComfyUI. Stability Matrix в пару кликов позволяет установить и настроить ComfyUI, использование сторонних нодов поддерживается из коробки. Всем советую хотя бы попробовать эту прогу. Приятно, что она работает и на линухе.
4 месяца назад