Машинное обучение

🎥 Krea Realtime 14B — новая модель текст-видео с открытым исходным кодом от Krea AI Модель на 14 миллиардов параметров, это более чем в 10 раз больше, чем у большинства открытых моделей в режиме реального времени. Скорость: способна генерировать видео со скоростью ~11 кадров в секунду при 4 шагах инференса на одной GPU NVIDIA B200. Технологии: использует метод «Self-Forcing» для преобразования диффузионной модели видео в авторегрессионную. Возможности: поддерживает режимы...

⚡️ BERT is just a Single Text Diffusion Step Любопытны пост, где автор объяснил очень простую, но мощную идею. Он заметил, что то, что мы называем диффузией для текста, на самом деле - это просто обобщённая версия классического обучения BERT. Как работает BERT? В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты. В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст. То есть BERT делает один шаг очистки - угадывает замаскированные слова...

📊 GenAI Traffic Share — обновление статистики по трафику Свежие данные показывают, как меняется расстановка сил среди генеративных ИИ-платформ: - ChatGPT продолжает терять долю. - Perplexity впервые превысил порог 2%. 🗓️ Год назад: ChatGPT — 87.1% Gemini — 6.4% Perplexity — 1.7% Claude — 1.7% Copilot — 1.1% 🗓️ 6 месяцев назад: ChatGPT — 78.8% DeepSeek — 6.8% Gemini — 5.5% Grok — 3.1% Perplexity — 1.5% Claude — 1.3% Copilot — 1.3% 🗓️ 3 месяца назад: ChatGPT — 78.3% Gemini — 8.7% DeepSeek — 4...

🚀 Alibaba сократила использование GPU на 82% с новой системой Aegaeon 🤯 Alibaba представила Aegaeon - революционную систему пуллинга GPU, которая делает обслуживание LLM-моделей в облаке в восемь раз эффективнее. ⚙️ Результаты впечатляют: - Минус 82% использования Nvidia GPU при работе моделей. - В 3-месячной бете на Alibaba Cloud: с 1 192 до 213 H20 GPU при поддержке десятков моделей до 72B параметров. 🔥 Как это работает: Обычно GPU простаивают, обслуживая «холодные» модели (17.7% GPU выполняли лишь 1...

📄 DeepSeek-OCR - модель для распознавания текста 🔍 DeepSeek выпустили мощную OCR-модель, способную преобразовывать изображения документов прямо в Markdown или текст. Что умеет: - Распознаёт текст на изображениях и в PDF - Работает с документами, таблицами и сложными макетами - Поддерживает разные режимы: Tiny, Small, Base, Large - Оптимизирована под GPU (PyTorch + CUDA 11.8) - MIT-лицензия — можно свободно использовать и модифицировать DeepSeek-OCR достигает высокой точности и эффективности за счёт компрессии визуальных токенов...

Главные новости ии. ✔️ Андрей Карпаты: “ИИ лишит человечество возможности принимать решения” В новом интервью Андрей Карпаты рассказал, почему современные языковые модели не учатся как люди - и почему нас ждёт медленная, но неизбежная потеря контроля. Он считает, что обучение с подкреплением и это тупиковый путь: модели не думают, а просто копируют и повторяют. «Reinforcement learning ужасен. Просто всё, что было до него, ещё хуже.» Андрей отмечает, что люди учатся, создавая собственные данные - размышляя, связывая новое со старым, делая выводы. LLM этого не умеют, они просто запоминают. Главное, по его словам, впереди - не сингулярность, а тихое делегирование мышления алгоритмам...

⚡️ Omni-Embed-Nemotron - новая единая модель от NVIDIA для поиска по тексту, изображениям, аудио и видео Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление. - Поддержка всех типов данных: текст, изображение, аудио, видео. - Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста). - Контекст - до 32 768 токенов, размер embedding — 2048. - Оптимизирована под GPU, поддерживает FlashAttention 2...

🧬Gemma C2S-Scale 27B помогла учёным найти новый способ борьбы с раком Исследователи из Google Research и Calico применили эту модель, чтобы анализировать активность генов в клетках и искать вещества, усиливающие иммунный отклик против опухолей. В чем сложность: многие опухоли остаются «холодными» - иммунная система их «не замечает». Чтобы обратить это, нужно вызвать экспрессию антигенов (antigen presentation), но делать это точно, только там, где уже есть слабый иммунный сигнал, но не всем клеткам подряд...

🚀 Microsoft представила MAI-Image-1 - новую модель генерации изображений, которая уже вошла в топ-10 на LMArena MAI-Image-1 создаётся с упором на реализм, разнообразие и художественную точность, а не шаблонные стили. Она особенно сильна в фотореалистичных сценах - свет, тени, отражения и текстуры выглядят максимально естественно. Microsoft отмечает, что обучение велось на тщательно отобранных данных с участием художников и дизайнеров, чтобы улучшить восприятие и применимость модели в реальных проектах...

🚀 Дженсен Хуанг лично подарил ИИ-суперкомпьютер Илону Маску Глава NVIDIA сегодня вручил Маску в штаб-квартире SpaceX самый маленький в мире ИИ-суперкомпьютер. 📦 Это устройство мощностью 1 петафлоп. Ещё недавно такая производительность обеспечивалась целой комнатой серверов. Теперь она помещается в коробку размером с рабочий ПК. Такой компактный суперкомпьютер может использоваться для локального обучения и инференса нейросетей без дата-центров и облаков...

✔️ Сооснователь Anthropic Джек Кларк опубликовал сильное эссе о природе современных ИИ-систем. Он пишет: «То, с чем мы имеем дело, - это настоящее и загадочное существо, а не простая и предсказуемая машина». Он сравнивает человечество 2025 года с ребёнком из старой истории: мы включаем свет в тёмной комнате и видим не груду одежды на стуле, а живые, мощные и во многом непредсказуемые существа — современные ИИ-системы и те, что ещё впереди. Многие, по его словам, отчаянно хотят поверить, что это лишь иллюзия, что перед нами не новая форма разума, а просто набор инструментов для экономики. Некоторые...

🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа: > • токенизатор > • pretraining > • SFT (supervised fine-tuning) > • RL (reinforcement learning) > • оценка модели (eval) Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей. 💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике...