Автор: Константин Кичинский, Technical Evangelist в Microsoft
Telegram: https://t.me/quantumquintum
Blog: https://outofline.ru/
Всем привет! В эфире сдвоенный выпуск подборки околотехнологических новостей из Telegram-канала Quantum Quintum.
Кратко
Искусственный интеллект
Обучение автономного транспорта
Команда Deep Learning and Robotics в Microsoft Garage выложила в открытом коде превью Autonomous Driving Cookbook — набора Jupyter-учебников по машинному обучению в сценариях автономного транспорта. На текущий момент доступны два учебника:
- Autonomous Driving using End-to-End Deep Learning: an AirSim tutorial
- Distributed Deep Reinforcement Learning for Autonomous Driving
- Исходный код: https://github.com/Microsoft/AutonomousDrivingCookbook
Как учат AI в Google?
Компания Google выложила публично внутренний курс "Machine Learning Crash Course" для всех, кто хочет познакомиться с TensorFlow (надо где-то найти 15 часов на это, конечно). https://developers.google.com/machine-learning/crash-course
Конспект лекций Andrew Ng
Tess Ferrandez прошла на Coursera знаменитый курс лекций Andrew Ng по глубокому обучению и сделала очень классный визуальный конспект https://www.slideshare.net/TessFerrandez/notes-from-coursera-deep-learning-courses-by-andrew-ng
Windows ML -- платформа для AI, встроенная в Windows
На днях прошел виртуальный Windows Developer Day и один из ключевых анонсов посвящен теме искусственного интеллекта, точнее новой платформе Windows ML, предоставляющей разработчикам использовать предобученные модели внутри своих приложений. Важные моменты: аппартное ускорение с использованием возможностей DirectX (GPU) и локальное выполнение (то есть тот самый "intelligent edge"). Для обработки медиа-контента и сценариев машинного зрения появляются дополнительные возможности предобработки кадров. Предобученные модели "скармливаются" в ONNX-формате, который Microsoft разрабатывает вместе с остальными участниками рынка, чтобы обеспечить совместимость между разными фреймворками.
- ONNX-формат: https://onnx.ai
Машинное обучение для анализа гео-респределенных данных
Если вы занимаетесь анализом гео-данных и, в частности, чем-то близким к анализу карт, аэросъемки и т.п., то вам будет интересна наша следующая новость. В дополнение к базовой Data Science VM в Azure и совместно с компанией Esri (поэтому вы можете ожидать взаимодействие с ArcGIS Pro) мы сделали новую версию виртуалки — Geo AI DSVM, заточенную под анализ пространственных и гео-данных. В качестве примера и учебного пособия коллеги выложили jupiter-ноутбук для задачи классификации зон на аэроснимках. #ai #ml #geo
Что разработчики думают про угрозы ИИ?
StackOverflow выпустил очередное исследование по аудитории разработчиков. Помимо прочих интересностей, отмечу блок про технологии и общество, во многом посвященный реакции на AI.
- 40% радуется, что AI увеличивает автоматизацию работы, только 20% находит это опасным. Наоборот, около 28% и 28% опасаются, что алгоритмы, соответственно, принимают важные решения и могут превосходить человеческий интеллект, и по 23% этому рады.
- При этом 48% считает, что разработчики или создатели AI ответственны за его последствия. Около 28% готовы переложить ответственность на государство и регуляторов.
- В целом 73% сильнее воодушевлены возможностями, нежели опасаются последствий.
Дизайнеры и мобильные разработчики боятся наступления сингулярности. Дата-сайнтисты, исследователи, девопс-специалисты и менеджены инженеров и продуктов существенно сильнее боятся нечестных алгоритмов.
https://insights.stackoverflow.com/survey/2018
Квантовые вычисления
Новая версия QDK
Вышло обновление Quantum Development Kit от Microsoft. Внутри поддержка MacOS и Linux (через интеграцию с VSCode), дополнительные библиотеки, выложенные в Open Source, интероперабельность с Python и ускорение симуляций в 4-5 раз. https://cloudblogs.microsoft.com/quantum/2018/02/26/quantum-development-kit-adds-support-for-linux-and-mac
AR/MR/VR
Как потрогать виртуальную реальность?
Как-то Алекс Кипман (руководитель команды Hololens), рассказывая, что случилось с Kinect, привел такую историю: когда создавалась его первая версия, команда в голове уже держала мысль о чем-то, что впоследствии стали называть Mixed Reality — смеси физического и цифрового миров в едином представлении. И вот возникает вопрос: где на этом пути Kinect и как вообще построить полноценный MR? Тут Алекс рисует журналисту простую схему: вот поле 3x3 клеток. По вертикали: что мы хотим распознавать - тело и движение рук, пространство вокруг и отдельные объекты. Каждая следующая задача, условно, в 10 раз сложнее предыдущей. По горизонтали: как мы взаимодействуем при этом - просто видим (через камеру), накладываем изображения, получаем отдачу от взаимодействия (haptic experience) с цифровыми объектами. Аналогично каждая следующая задача на порядок сложнее. Вот теперь, если вы нарисуете это по осям, получится, что блок 1x1 — это кинект. Проходит еще почти 10 лет, первая версия Kinect фактически уменьшается до размера плашки в iPhone X, а мы, благодаря прогрессу технологий наблюдаем следующий блок 2x2 — это Hololens. Вот теперь большой вопрос, с одной стороны, с распознаванием разнообразных объектов (сейчас основной акцент делается на системы машинного зрения), а с другой, с физическим взаимодействием с цифровыми объектами. В связи с последним: вот подборка исследований Microsoft Research на тему взаимодействия с виртуальным. https://www.microsoft.com/en-us/research/blog/touching-virtual-microsoft-research-making-virtual-reality-tangible
Дополненная аудио-реальность от Bose
Bose также входит на этот AR, выпуская очки дополненной реальности. Но! Это не то, о чем большинство могло бы подумать, вспоминая Google Glass и другие похожие проекты. Bose специализируется на аудио, поэтому это очки для дополненной звуковой реальности. Интересно также, что очки — это просто прототип реализации, а сама компания целится в платформенную историю с амбицией сделать именно Audio AR платформу. Помимо работы с аудио-информацией платформа также учитывает сигналы от сенсоров движения головы (например, для управления жестами) и работает с локационными сервисами подключенного смартфона (например, данными GPD). Желающие могут подать заявку на ранний доступ к SDK для Bose AR.https://www.theverge.com/circuitbreaker/2018/3/9/17100410/bose-ar-platform-audio-augmented-reality-glasses-headphones-sxsw
Смешанная реальность и цифровые двойники в гонках
Honda для продвижения последней модели из серии Civic решила устроить соревнование между профессиональным водителем и профессиональным игроком и стриммером в Forza, на одной и той же трассе и на "одной и той же" машине. Интересен сетап: сначала трассу проехал ютюбер, после чего цифровой профиль его заезда проецировался на лобовое стекло реальной машины с учетом ее текущего местоположения. Фактически реальный водитель мог видеть "призрак" своего конкурента. Пока это просто рекламная история, но, возможно, в будущем мы увидим что-то подобное, например, в тренинговых центрах обучения вождению или на тренировках профессиональных гонщиков. https://vrscout.com/news/honda-mixed-reality-race-pro-driver-youtuber
Подборки кейсов
Медицина: от поддержки хирургических операций до визуализации УЗИ-снимков в 3D. https://blogs.windows.com/windowsexperience/2018/03/08/how-mixed-reality-is-changing-the-game-for-healthcare-from-performing-live-surgeries-to-delivering-ultrasounds-in-3d Образование: от классических дополненных учебников до интерактивных стенок в спортзале. https://medium.com/inborn-experience/usage-of-augmented-reality-in-education-be783e0159a
Футуризм и предсказания будущего
Прогноз технологий до 2055 года
Немножко футуризма - одноименное издание Futurism сделало небольшую инфографику на тему будущих технологий вплоть до 2055 года. Я лично думаю, что часть из этого может случиться сильно раньше. https://i0.wp.com/analyticsweek.com/wp-content/uploads/2017/01/futurism_things-to-come.jpg?ssl=1
------------------
Большие истории
Геномные вычисления в облаке
Не знаю, куда приведет эта история в будущем, но мне она кажется одновременно ожидаемой, заманчивой и неожиданной. Примерно также я пару дней назад удивился новости от Apple, что они, вроде как, собираются построить медицинский центр для сотрудников (особенно критично с учетом стоимости мед.услуг в штатах) и заодно тестировать там разные алгоритмы, устройства и т.п. Я тогда подумал: "Круто! Apple еще больше шагает в сторону медицины!" Так вот новость: в нашем облаке Microsoft Azure появился первый геномный сервис (Microsoft Genomics), реализующий в облачной модели несколько алгоритмов, критичных для анализа генома. Почему это ожидаемо? Я знаю, что лаборатории MSR (теперь AI&R) давно занимаются алгоритмами в этой области, недавно у нас было несколько новостей на тему использования облачных мощностей для борьбы с раком и другими заболеваниями и т.д. Реализация неиболее необходимых алгоритмов в облаке, с ускорением и масштабированием — насущная потребность исследователей, лабораторий и т.п. Конечно, при это важно учитывать чувствительность обрабатываемых данных, поэтому отдельное внимание уделяется сертификации инфраструктуры с точки зрения надежности и безопасности. Почему заманчиво? Потому это одна из фундаментальных инициатив, приближающих (хочется надеяться, светлое) будущее, за счет обеспечения доступа к новым технологиями большему числу людей. Та самая демократизация, и не важно, мы говорим про AI, квантовые вычисления или геномику. Почему неожиданно? Ну вот как-то не ждешь, хотя и надеешься, что будущее будет разворачиваться так быстро. Я думаю, лет через пять будет вполне обыденной вещью программирование отдельных процедур на Q# и еще каких-нибудь на (еще не изобретенном) G# и т.п., не говоря уже о массе прорывов и новых применений.
- Раздел на поратале Azure: https://azure.microsoft.com/en-us/services/genomics
ИИ против живых нейронов. Все намного сложнее
Почему мозг бабочки умнее наших нейронных сетей?
Про нейронные сети есть массовое (но думается, что не среди экспертов по AI/ML) заблуждение, что мол нейронные сети устроены аналогично нервной системе живых организмов. Это, конечно, не так, и правильнее говорить, что конструкция (искусственных) нейронных сетей вдохновлена ранними исследованиями нервных тканей. С тех пор, нейробиология ушла в одну сторону, а машинное обучение с ИИ — в другую, но периодически они обмениваются результатами и наблюдениями. Например, оказывается (надеюсь, это не будет сюрпризом), что в реальности "живые" системы не просто устроены "слегка иначе", но и процесс обучения устроен совершенно по другому. То же "обратное распространение ошибки" для обучения живой системы эволюционно невыгодно, потому что 1) слишком медленное и 2) слишком энергозатратное. Более того, когда мы смотрим на то, с какой скоростью и на каком маленьком объеме данных бабочка или мотылек обучается распознавать запахи, наши потуги с ускорением вычеслений через GPU, FPGA и т.п. кажутся детскими поделками. Поэтому исследователи из смежных лагерей иногда пытаются подсмотреть в исследованиях друг друга либо какие-то природные инсайты, либо, соответственно, подходящие математические модели. Так, команда ученых из Университета Вашингтона (Сиэттл), решила попробовать воспроизвести уже хорошо изученную и размеченную нервную подсистему табачного бражника (это такая бабочка), заточенную под распознавание запахов, в компьютерной системе. Для этого они создали искусственную сеточку, похожую по своей структуре на компоненты нервной системы бабочки (интересный момент, что она состоит из нескольких последовательных подсистем). Также в систему был добавлен искусственный аналог октопамина, который как раз оказывает ключевое воздействие на процесс обучения (кстати, без него, обучение тоже происходит, но слишком медленно). Отдельный вопрос, как именно он влияет, но одна из гипотез, высказываемых исследователями, заключается в том, что октопамин позволяет обойти естесвенные ограничения на рост новых синапсов. Также, в отличие от классического обучения с усилением уже имеющихся связей, он позволяет открывать новые каналы передачи сигнала, что сильно расширяет пространство поиска решений. Следствие из этой работы очень простое: возможно, дата-сайнтистам стоит глубже покопаться как в реальности работают нервные системы, и в будущем в популярных фреймворках (или новых) могут появиться аналоги нейротрансмиттеров, влияющих на процессы обучения и функционирования нейронных сетей.
- Подробнее в MIT Technology Review: https://www.technologyreview.com/s/610278/why-even-a-moths-brain-is-smarter-than-an-ai
- Основная научная работа: http://arxiv.org/abs/1802.02678
В поисках следующего поколения нейронных сетей
Если у вас из курсов по ML или остатков школьных воспоминаний сложилось впечатление, что нейрон с отростками — это такая простая вычислительная штука и фокус в том, что их (нейронов и связей) очень-очень много, то самое время узнать, что все еще сложнее. Сильно сложнее. :) Carlos E. Perez, автор "Artificial Intuition" и "Deep Learning Playbook", рассказывает о некоторых исследованиях в области "как оно там на самом деле и что мы можем с этим делать". 1. Настоящие нейроны не статичны и работают с динамичным потоком "данных". Условно, эту модель называют спайковой или импульсной. Часть исследователей пытается ее повторить в виде нейроморфных чипсетов (о некоторых проектах я писал раньше). К сожалению, пока они не очень эффективны, в том числе с точки зрения затрат энергии. 2. В биологических нейронах тысячи синапсов, сами нейроны распознают сотни паттернов и обучаются в том числе за счет роста новых синапсов. Часть исследователей пытается повторить эту модель в софтверной реализации (например, в Numenta), но пока не очень успешно. Карлос отмечает, что тонкость ситуации также в том, что существенно более примитивная модель, используемая в глубоком обучении, наоборот показывает хорошие результаты во многих случаях. 3. Новые исследования показывают, что нейроны еще более сложны, чем мы думали. Форма волны спайка зависит от источника стимуляции, пространственное суммирование стимулов отсутствует для разных направлений (и скорее всего происходит по-разному в разных направлениях), а внутриклеточные и внешние стимуляции не суммируются. Вывод такой: внутри нейрона есть несколько независимых порогов, по-разному реагирующих на совокупность стимулов. (То есть это сильно отличается от модели перцептрона с весом.) 4. Другие свежие исследования показывают, что нейроны общаются друг с другом не только посредством электрических сигналов, но и также пакетами РНК-кода. То есть нейроны обмениваются не только данными, но и инструкциями, и, соответственно, поведение одних нейронов может меняться не только вследствие "наблюдения", но и вследствие "инъекции поведения". Карлос, резюмируя, говорит, что все это не только подчеркивает, что в настоящем мозге все намного сложнее, чем мы бы хотели думать, но и что наши оценки вычислительных возможностей мозга на основании числа нейронов и связей — это весьма и весьма заниженная величина. С точки зрения машинного обучения, скорее всего, мы придем к тому, что исследователи начнут экспериментировать с более сложными моделями нейронов. Одно из направлений в этом — работа со сложными вложенными моделями, например, LSTM-нейронами. https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3 #ai #brain #nature #neuron #networks p.s. Это я не к тому, что DL сырой, а к тому, что там еще куча работы, исследований и т.п. Мы в самом начале этой истории.
Цифровые двойники
Периодически мы проводим с разными компаниями тематичные воркшопы про цифровую трансформацию. Про сам воркшоп, я расскажу отдельно в обозримом будущем, а вот про один из результатов расскажу сейчас. Одна из задач воркшопа прочертить дорожную карту на несколько лет вперед с фокусом на новые цифровые платформы или сквозные технологии (согласен, звучит слегка абстрактно, если без конкретики). Мы рассматриваем самые разные сценарии, условно, от смены фурмы в доменной печи до заказа бургеров в терминале фастфуда. Но некоторые темы (или направления) повторяются из раза в раз, независимо от сценария. Одна из таких тем — это понимание о неизбежности появления "цифровых двойников" (digital twins). Если по-простому, то цифровой двойник — это цифровая модель происходящего процесса или объекта, обновляемая в реальном времени на основании собираемой телеметрии. Например, если у вас стрессовые и травмоопасные условия труда, то цифровой двойник сотрудника, в одном из своих проявлений, — это оцифрованный срез работы физиологических систем, состояния сознания и т. п., он также может включать компетенции, историю работы (от микро-взаимодействий вроде "как сильно он обычно бьет молотком" до социальных аспектов) и много чего еще. И вот такая система будет способна сигнализировать, анализировать, предотвращать, прогнозировать и т.п. поведение и состояние человека в заданных условиях (например, в цехе при выполнении конкретной задачи). В разрезе темы Индустрии 4.0 (она же промышленная революция 4.0), тему цифровых двойников "рисуют" теперь абсолютно везде. Например, если вы производите грузовики, то вам нужна его цифровая модель, причем ее нужно закладывать уже на этапе проектирования. Если у вас нефтеперерабатывающий завод, то у вас будет цифровой двойник как самого завода, так и отдельных его состовляющих. Если у вас поле кукурузы, то будет цифровой двойник поля кукурузы, в котором каждый росток будет иметь свое отображение, которое в свою очередь будет влиять на параметры полива, индивидуального вноса удобрение и т. п. Большая-большая тема, в общем. Причем, что интересно, сама реализация таких "двойников" в контексте тех или иных сценариев или индустрий будет выливаться в самостоятельные цифровые платформы. Условно, в случае завода это "операционная система завода", а в случае поля "операционная система поля". И вот тут неожиданный поворот: по объему рынка каждая из них будет сопоставима с текущими большими цифровыми платформами (ОС, mobile, messengers, etc.). (Это мой прогноз, если что.) Сложность создания тоже сопоставима. :) Подробнее и со схемами довольно хорошо эта тема раскрыта в прошлогодней статье Deloitte: https://www2.deloitte.com/insights/us/en/focus/industry-4-0/digital-twin-technology-smart-factory.html
Бонус
The Code Name Project
Как-то давным давно мы с Машей Юневой и Стасом Павловым решили сделать свою игру к интенсиву по DevOps на DevCon'2016. И сделали. Так появилась первая версия карточной игры "The Code Name Project". У меня много людей спрашивало, где купить, где заказать, а не завалялось ли у нас еще. Какое-то количество завалялось на складе, мы то и дело что-то находили. Но вот все. На днях раздаю последние пачки. Потом мы решили сделать новогоднюю версию и год назад вышло специальное издание с картой, фишечками, Дедом Морозом и оленями. Та версия совсем быстро разошлась, а нас снова спрашивали, где купить, где заказать и не завалялось ли еще. Тут совсем не завалялось, но мы много раз думали, а что это мы никак не выложим исходники. В общем, я собрался, поискал по своим архивам и выложил то, что кажется приемлемым для самостоятельной печати. Качать все здесь: https://github.com/kichinsky/codename
