Нейрошторм

В последнюю версию LM-Studio добавили новую функцию - спекулятивное декодирование. Мы джва года ее ждали. Ниже я расскажу, что это такое и как его использовать. Speculative decoding или, по-русски, спекулятивное декодирование - это метод ускорения генерации токенов большими языковыми моделями (LLM) за счет использования дополнительной модели меньшего размера. Спекулятивноедекодирования работает следующим образом. У вас есть две LLM с одинаковым словарем токенов, то есть нельзя использовать модели различных семейств, типа, llama и qwen, а вот llama-3...

Это сенсация! То, что переведет привычные нам языковые модели на новый уровень. Опубликована научная статья и представлены веса глубинной рекуррентной модели со скрытыми рассуждениями. Суть в том (насколько я понял), что если обычная модель состоит из слоев (многослойный перцептрон), обычно их около 40 (в статье модель с 8 слоями), для получения каждого токена все эти 40 слоев просчитываются и на выходе получаем наиболее вероятный токен, то тут добавляется еще один слой (рекуррентный блок), причем добавляется сколько угодно раз для каждого вычисления...