323 читали · 2 года назад
Обзор языковых моделей и новая SOTA в генерации текста
#ai_inside #paper Тут DeepMind выпустили сразу три статьи — и все про генеративные модели (GPT-3 like). Вот о чем понаписали в первой: (о второй и третьей — в следующих постах) Статья #1. Обзор качества генеративных моделей в зависимости от их размера (кол-ва параметров) и Gopher Мы привыкли считать, что чем больше нейросеть, тем лучше она работает (ну, при условии хорошего обучения). Самая большая версия GPT-3 имеет 175 миллиардов параметров и считается лучшей нейронкой для генерации текста. Кажется,...
275 читали · 6 месяцев назад
Модель Фрейера как способ запомнить и понять определение
В понедельник промежуточная аттестация в 5-х классах. Решил немного их подготовить. Прошу ученика встать и задаю вопрос: - Зверенышев, дай определение «цитологии»? - Клетка… - Поподробнее можно? - Ну, строение, жизнь клетки, функционирование… Такая ситуация наблюдается не только в пятых классах. Даже ученики 9-10-х классов не могут выучить определение, состоящее из двух предложений. В мои школьные годы все определения, формулировки законов знали как «Отче наш». Нельзя было пропустить ни одного слова...