Notes on ML

Обучение LLM традиционно проходит в два этапа: Каждый из этапов требует большого датасета с обучающими даными. Однако авторы статьи LIMA: Less Is More for Alignment наглядно доказали, что для fine-tuning этапа требуется всего 1000 высококачественных, тщательно подобранных пар (промпт + ответ). И этого набора хватает для неожиданно достаточно для достижения производительности, сравнимой с GPT-4, Bard и DaVinci003 LLM приобретает знания в процессе предобучения (pretraining), а стиль и формат ответов модель изучает в процессе дообучения (fine-tuning)...

Обзор статьи Self-Alignment With Instruction Backtranslation. Буквально недавно мы разбирали метод синтеза instruct-данных для дообучения LLM, основанный на Bootstrapping LongCoT. Сегодня разберём ещё один способ получить качественные обучающие пары: Self-Alignment with Instruction Backtranslation. 1) Инициализация. Берётся датасет, состоящий из 3200 пар инструкция-ответ. На данном небольшом датасете дообучается модель M0. 2) Self-Augmentation. Берётся большой корпус текстов из интернета. Тексты...

PCA — алгоритм, уменьшающий пространство признаков так, чтобы потерять как можно меньше информации. Его часто спрашивали на собеседованиях, и, когда я впервые его изучил, то получил удовольствие от такого изящного применения линейной алгебры. Давайте же начнём разбор 🧑‍💻 Найти новые ортогональные оси (главные компоненты), вдоль которых дисперсия данных максимальна, и проецировать данные на первые k таких осей. 1) Нормирование. Приводим признаки к сопоставимым шкалам. Иначе признаки с большими числовыми масштабами доминируют по дисперсии...

Многие LLM модели используют ShortCoT (короткие рассуждения) и плохо справляются со сложными задачами. Подход BOLT помогает научить модели длинным рассуждениям (LongCoT) и значительно улучшает качество ответов. Статья Для каждого запроса формируются 8 пар (ответ, рассуждения)...

Недавно участвовал в соревновании на Kaggle, где нужно было подобрать перестановку столбцов матрицы X (50x100), которая минимизировала бы функцию: Так как вариантов перестановки непомерно много, то простым перебором данную задачу было не решить. Приходилось использовать генетический алгоритм, beam search и прочее. На удивление себя очень хорошо показал алгоритм Simulated Annealing, механизм которого я бы и хотел разобрать...

Удивительно, но факт: несколько изменений в изображении может полностью изменить вывод нейросети, что ломает заложенную разработчиком логику. В данной статье мы не просто подсветим факт существования One Pixel атаки, но и комплексно разберём архитектурные факторы, которые влияют на устойчивость CV-систем к данному семейству атак. Представим ситуацию: мы обучили нейросеть, которая предсказывает наличие макияжа (мало ли какие задачи перед нами могут встать). Модель в проде, всё прекрасно работает. Наша нейросеть уверенно определяет наличие макияжа на левой фотографии...