влияние лауреатов на ChatGPT и Midjourney)
А что нового внес в «нейростроение» Джеффри Хинтон?
Сеть, предложенная Хинтоном, тоже опирается на физику. А именно — на математические модели, впервые разработанные в статистической физике. Последняя имеет дело с системами из многих тысяч и миллионов частиц, ее главная особенность — в том, что она обращает внимание не на поведение каждой из частиц или тел отдельно (как, например, механика), а на поведение системы в целом. Modus operandi этой науки — использование комбинаторики и статистики для того, чтобы описать, в каком состоянии какая доля частиц должна находиться для того, чтобы в целом, на макроскопическом уровне, система выглядела так, как выглядит. Например, с помощью статистической физики можно узнать, какую скорость в среднем должны иметь молекулы газа, чтобы газ в целом имел определенную температуру и давление.
К нейросетям это имеет следующее отношение: вдохновляясь работами Хопфилда и статистической физикой, Хинтон придумал альтернативную архитектуру нейросети, в которой также есть понятие виртуальной энергии. Принципиальное значение для такой сети имел не конкретный паттерн активации нейронов, а вероятность этого состояния. Аналогично с температурой газа: даже в холодном газе некоторые молекулы могут иметь очень большую скорость (быть «очень горячими»), хотя вероятность этого очень низка. Когда температура повышается, по определенному закону растет и вероятность.
Хинтон использовал этот закон для определения вероятностей нахождения системы в том или ином состоянии, в том или ином паттерне. Поэтому и назвал такую нейросеть «машиной Больцмана». Все это может звучать слишком туманно, поэтому обратимся к иллюстрации самого Хинтона.
Как данные моделируются в машине Больцмана. Фрагмент лекции Джеффри ХинтонаArtificial Intelligence — All in One
Допустим, у нас есть атомная станция, на которой установлено очень большое количество сенсоров: датчики температуры, давления, радиоактивности и других параметров. Станция работает в разных режимах, а комбинаций тысяч параметров нормальной работы почти бесчисленное множество (некоторые даже не встречаются за длительное время работы).
Так вот, если нормальный режим работы станции использовать для того, чтобы обучить нейросеть типа машины Больцмана, то такая нейросеть сможет успешно обнаружить, когда что-то пойдет не так.
Если наблюдаемая комбинация параметров станет слишком невероятной, это будет означать, что станция вышла из нормального режима и, возможно, мы имеем дело с аварией и пора нажимать на красную кнопку.
Для того, чтобы стало возможно распознавание таких ситуаций, машина Больцмана имеет в своей архитектуре как видимые, так и скрытые нейроны. Первые могу принимать на вход состояние системы (например, показания датчиков), а вторые выполняют роль вычислителей и памяти.
В них суммируются данные о том, что происходит в системе и что в ней происходило ранее. Как и в других нейросетях, обучение системы заключается в изменении силы связей нейронов между собой (то есть изменении весов).
Отдельный класс таких нейросетей — это ограниченная машина Больцмана. В ней слои видимых и скрытых нейронов отделены друг от друга, а нейроны одного слоя не взаимодействуют друг с другом.
Такая система уже гораздо ближе к обычным прямым (feed forward) нейросетям, у которых есть отдельные входные, выходные и скрытые слои. Впрочем, принципиальных отличий у таких нейросетей и ограниченных машин Больцмана тоже много: прежде всего, у них принципиально разные способы обучения.
То есть Хинтон и Хопфилд создали для нас то, что сейчас стало Midjourney и ChatGPT?
Не совсем. Оба лауреата, безусловно, внесли свою лепту в то, чтобы нейросети получили новую жизнь. Однако ни нейросеть Хопфилда, ни машины Больцмана сейчас практически не применяются в машинном обучении и даже для обработки сигналов. Им на смену пришли нейросети совсем другой архитектуры и — что может быть еще важнее — другого способа обучения.
В частности, это глубокие сверточные нейросети, которые широко применяются для обработки изображений и давно стали индустриальным стандартом. Их пионером считается французский математик Ян Лекун, отсутствие которого в числе лауреатов особенно бросается в глаза. Лекун уже успел поздравить коллег и признаться, что не особо сожалеет о том, что не получил премии, так как ему «хватает имеющегося признания».
Хинтон и Лекун в последние годы стали не просто коллегами, но главными оппонентами по вопросу потенциальной угрозы развития искусственного интеллекта.
Если Хинтон целиком стоит на алармистких позициях и даже ушел из Google, чтобы свободнее критиковать работу компании и призывать к ограничениям исследований, то Лекун считает угрозу надуманной — возникающей от непонимания того, чем на самом деле является искусственный интеллект. Возможно, в споре Хинтона и Лекуна Нобелевский комитет сделал собственную ставку — и именно поэтому включил в число лауреатов первого, а не второго (если что, это — не факт что смешная — шутка).
Нет среди лауреатов и создателей трансформера — нейросетевой архитектуры, которая по состоянию на 2024 год захватила весь «рынок» и применяется буквально везде, от чат-ботов до тех же задач машинного зрения, где сверточные нейросети недавно доминировали безраздельно. О том, как работает трасформер и что сейчас происходит с областью, переживающей экспоненциальны бум, мы подробно писали в самом начале года (обратите внимание на список курсов и лекций в конце материала).
Все эти «страшные упущения» Нобелевского комитета, конечно, таковыми не являются. Упомянуть об этом важно только для понимания текущего состояния области и контекста того, за что дали премию на этот раз.
Никто не может оспорить вклада Хинтона и Хопфилда в развитие ИИ — он действительно очень велик. Помимо примеров конкретной архитектуры нейросетей, которые уже не то чтобы активно используются, Хинтон, например, создал один из важных методов анализа и визуализации данных, алгоритм t-SNE.
Что еще важнее, он популяризировал (может быть, и открыл — но это как раз спорно) главный метод обучения современных нейросетей — метод обратного распостранения ошибки, — в статье, опубликованной в журнале Nature еще в 1986 году. Уже этого вклада было бы достаточно для того, чтобы если не получить премию, то по крайней мере войти в шорт-лист комитета.
Еще по теме экономики и технологии:
«Они нашли лазейку». После повышения утильсбора растут поставки в Россию автомобилей из Китая по доверенностям от покупателей
«Все под покровом тайны, тихо, чтобы никто ничего не заподозрил» В VK — массовые сокращения, уволены сотни сотрудников
«ВКонтакте» отключил возможность поиска видео «для взрослых»
«Интернет рано или поздно сломают». Власти решили потратить на изоляцию рунета почти 10 млрд рублей