Технозаметки Малышева

Крутой и подробный гайд по обучению с подкреплением (Reinforcement Learning, RL)! 🚀  Это подробное руководство от @naklecha, которое объясняет RL через практические примеры и реальные применения. Кратко: Основы RL на примере шахмат 🎮 - Объясняется концепция состояний и действий - Вводится понятие функции ценности (value function) - Рассматривается проблема огромного пространства состояний Алгоритмы и методы 🤖 - Q-learning и его улучшенные версии - Monte Carlo Tree Search (MCTS) - Deep Q-Networks (DQN) - Actor-Critic методы - PPO (Proximal Policy Optimization) - TRPO (Trust Region Policy Optimization) Практические применения 💡 - Обучение языковых моделей (LLM) через RLHF - Использование в рекомендательных системах (Netflix) - Применение в играх (DotA 2, шахматы) - Новые методы вроде RLOO от Cohere Современные достижения 🔥 - Разбор архитектуры ChatGPT и подобных систем - Обсуждение новой модели O3 от OpenAI - Анализ распределенных систем RL Особенно интересно, что автор объясняет сложные концепции через понятные примеры и постепенно наращивает сложность. Это делает материал доступным даже для начинающих, при этом охватывая продвинутые темы для опытных разработчиков. Гайд завершается обсуждением последних достижений в области RL и его применения в современных AI-системах, что делает его особенно актуальным для понимания текущего состояния отрасли! 🌟 Кстати, автор создал некоммерческую организацию A10 labs , целью которой является сделать исследования в области ИИ более доступными для понимания. 🎯 Там прям ещё круче: 20.07.2024 (video) tree to wifi speedrun 25.06.2024 (video) transformers from the atom up 19.05.2024 (guide) llama3 from scratch 27.01.2024 (experiment) embedding experiments 12.12.2023 (guide) latent consistency models 23.11.2023 (tool) curated research papers Ну везде английский само-собой. В наше время это как латынь в медицине, извините. Не знаешь, - проиграл. #RL #guide #обучение

Китайский оптический чип Taichi-II: революция в ИИ-вычислениях Учёные из Университета Цинхуа представили Taichi-II - усовершенствованный фотонный чип для ИИ. Новинка демонстрирует 40% рост точности и миллионократное повышение энергоэффективности при слабом энергопотреблении. Уникальность разработки - обучение ИИ непосредственно на оптическом чипе, а не через цифровое моделирование. Taichi-II способен симулировать сеть из 14 млн нейронов, выполняя 160 трлн операций на ватт. Потенциал применения - создание систем искусственного общего интеллекта и оптических вычислений нового поколения. Вместо LLM на Python мы будем тренить фотоны. Ясно-понятно. Вот, собственно и та самая предельная энергоэффективность и скорость. А заодно и ответ на вопрос, - зачем физика в ML. 💡🧠 #Taichi #photonics #AGI #Китай ------- @tsingular

Эрик Шмидт: к чёрту климатическую повестку, - ИИ разберётся Бывший CEO Google заявил, что приоритет следует отдать развитию ИИ, а не борьбе с изменением климата. Бум ИИ увеличил энергопотребление дата-центров. Прогнозируется, что к 2030 году они будут потреблять 35 гигаватт ежегодно!!! Шмидт при этом полагает, что рост потребления энергии на ИИ превзойдет все экологические ограничения, и цели по защите климата не будут достигнуты из-за отсутствия координации. Он предпочитает делать ставку на то, что ИИ сам решит проблему в будущем, вместо ограничения его развития сейчас через снижение энергопотребления. АХхаха. Pedal to the metal! :) гонка энергетиков началась! #EricSchmidt #datacenters #energy ------- @tsingular

Техногиганты возрождают атомную энергетику Amazon, Microsoft и Google активно инвестируют в АЭС для питания своих дата-центров под ИИ. Microsoft планирует перезапустить АЭС Three Mile Island к 2028 году. (об этом уже писали - https://t.me/tsingular/2414) Теперь: Amazon Web Services приобрела кампус, питаемый АЭС Susquehanna. (тоже, кстати, в Пенсильвании) Билл Гейтс основал TerraPower для развития ядерных технологий. В целом, минэнерго США прогнозирует трехкратный рост ядерных мощностей к 2050 году. Интересный тренд. Ладно электричество, - тут атом, - выход. А вот, что, интересно, с теплом, - ведь сколько ты энергии потратил, столько тепла и нужно отвести, а названные локации совсем не Арктика. Получается, что значительная часть мощности еще и на охлаждение пойдет. ⚡️ #Microsoft #Amazon #NuclearEnergy ------- @tsingular

Беспилотники Sany революционизируют строительство автомагистрали Пекин-Гонконг-Макао В Китае стартовал масштабный проект реконструкции и расширения ключевой транспортной артерии. Беспилотные технологии Sany демонстрируют впечатляющие возможности: • Асфальтоукладчик шириной 20 м и умные катки работают полностью автономно. • Достигнута рекордная ширина укладки - 19,25 м за один проход. • Высокоточное позиционирование обеспечивает бесшовную укатку. Проект знаменует новую эру в дорожном строительстве, сочетая масштаб и передовые технологии. Почти 160км полностью автономно. Это ж так можно вообще все дороги в порядок привести за 5-10 лет. 🚜🤖 #Sany #UAV #Китай ------ @tsingular

Intel запускает новый ИИ-ускоритель Gaudi 3 Intel наконец запустили, анонсированный ранее ИИ ускоритель Gaudi 3, который должен стать в 1,5 раза быстрее NVIDIA H100 и вдвое энергоэффективнее. Gaudi 3 оптимизирован для генИИ и LLM, поддерживает работу с Llama, Falcon, задачи 3D-генерации, перевода, анализа тональности и т.д. В следующем году так же ожидается выпуск Falcon Shores - модификации схемы, объединяющий CPU и GPU на одной подложке для серверов. Если только Qualcomm не перепишет их планы. #Intel #Gaudi3 #NVIDIA ------- @tsingular

Google проапгрейдила Gemini: мощнее, дешевле, быстрее Вышли обновления версий Gemini-1.5-Pro-002 и Flash-002. Улучшения: +7% в MMLU-Pro, +20% в математике, +2-7% в визуальном анализе и кодировании. Модели стали лаконичнее в ответах. Цены снижены: -64% на входные токены, -52% на выход, -64% на токены инкрементального кэширования (sic!). Лимиты запросов тоже подняли: Flash до 2000 RPM, Pro до 1000 RPM. Так же представлена экспериментальная версия Gemini-1.5-Flash-8B-Exp-0924 с ускоренной генерацией. Обновления доступны через Google AI Studio и Gemini API. Anthropic до рождества, похоже будет тянуть :) Opus 3.5 когда уже? 🧠🏷 #Gemini #GoogleAI #MachineLearning ------- @tsingular

NVIDIA допилили Llama: выпустили Nemotron-51B NVIDIA представила Llama 3.1-Nemotron-51B - оптимизированную версию Llama-3.1-70B. Новый подход - Neural Architecture Search (NAS) позволил создать модель, обеспечивающую в 2.2 раза более быстрый инференс. Меньше жрёт память, что позволяет запускать в 4 раза больше задач на одном GPU (рекомендован H100 80Gb). Есть версия Llama-3.1-Nemotron-40B-Instruct для диалогов. Попробовать можно тут: https://build.nvidia.com/nvidia/llama-3_1-nemotron-51b-instruct В этот раз ставка сделана на скорость, при сохранении результата. Даже в части тестов получается на 1-2% слабее Llama 3.1 70B. Ну и H100 80Gb не в каждом гараже, конечно, есть пока. #NVIDIA #Llama #Nemotron ------- @tsingular

Джеймс Кэмерон вступает в совет директоров Stability AI Знаменитый кинорежиссер(Чужие, Терминатор, Бездна и др.) присоединяется к компании, разработавшей Stable Diffusion. Этот шаг может стать поворотным моментом для индустрии ИИ в кинематографе. Кэмерон видит потенциал в слиянии генеративного ИИ и CGI для создания визуальных эффектов. При этом факт использование ИИ в киноиндустрии вызывает споры, в том числе принятие законов-ограничений в ряде штатов и было одной из причин серии недавних забастовок актёров. Но капитализм штука упорная, поэтому киностудии продолжают и будут наращивать оптимизацию производства в сотрудничестве с ИИ компаниями. Следующую серию Терминатора будет снимать Скайнет. 100% вангую. А знаете как это можно будет определить? Не по спецэффектам, нет, - их вы не различите. Терминаторы будут положительными героями. 🎬🤖 #JamesCameron #StabilityAI #movieindustry ------- @tsingular