нейросетей — основы современного ИИ
Сеть, построенная Хопфилдом, состоит из узлов с соединениями (весами) разных типов. Каждый узел может хранить индивидуальное значение — либо 0, либо 1, подобно пикселям на черно-белом изображении.
Она обучается путем последовательного вычисления значений весов, чтобы прийти к состоянию равновесия. Это значение определяется неким эквивалентом физической «энергии», который зависит от всех весов в системе. Сеть обучается путем поиска минимума «энергии», при котором она «запомнила» определенный шаблон.
Если при прохождении узла это значение уменьшается, то черный пиксель становится белым или наоборот. Когда цель достигнута, сеть воспроизводил исходное изображение, на котором ее обучали. Если образ немного исказить и подать на вход сети, то он тоже будет восстановлен.
Такую нейросеть можно отнести к автоассоциативной памяти, то есть такой, которая может завершить или исправить образ, но не может ассоциировать его с другим.
Она также способна к обобщению, распознаванию похожих образов, их категоризации и исправлению ошибок.
В наши дни нейросети Хопфилда относят к типу рекуррентных, которые перенаправляют информацию туда и обратно по слоям, пока не получат конечный результат. Этот тип нейросетей обычно используется для прогнозирования, распознавания образов, сжатия массивов данных.
Внимание к деталям
Когда Хопфилд опубликовал свою статью об ассоциативной памяти, Джеффри Хинтон работал в Университете Карнеги-Меллона в Питтсбурге.
Ранее он изучал экспериментальную психологию и задавался вопросом, могут ли машины научиться находить закономерности аналогично людям. Хинтон решил использовать сеть Хопфилда в качестве основы для новой нейросети, использующей другой метод: машину Больцмана. Это позволило бы ей автономно находить свойства в данных и выполнять такие задачи, как идентификация определенных элементов на изображениях. Хинтон использовал инструменты статистической физики. Она описывает системы, состоящие из множества одинаковых элементов, например молекул газа.
Их невозможно отследить по-отдельности, но можно рассматривать в совокупности, чтобы определить общие свойства газа, такие как давление или температуру.
Метод «машины Больцмана» еще в 19 веке описал австрийский физик Людвиг Больцман. Она способна предугадывать наиболее вероятные физические состояния системы.
По сути, это рекуррентная нейронная сеть, которая обрабатывает видимые и скрытые узлы нейросети, выступающие в роли весов, и определяет вероятности значений, при которых структура узлов может измениться, но свойства сети останутся прежними. Машина Больцмана может учиться — не на инструкциях, а на примерах путем обновления значений в узлах. Обученная машина способна распознавать знакомые паттерны в новой информации, если она относится к категории уже изученной.
Хинтон с коллегами разработал метод предварительного обучения нейросети с помощью серии машин Больцмана по слоям, один поверх другого. Он использовал ограниченные машины Больцмана, в которых нет никаких связей между узлами в одном слое.
После обучения первой содержимое скрытых узлов используются для ввода на следующей. Это позволило обучить нейросеть распознавать элементы на картинках. В 2012 году команда Хинтона победила на конкурсе ImageNet, участники которого должны были создать системы компьютерного зрения, способные распознавать 1000 объектов — от животных до ландшафтов и людей.
Таким образом, Хинтон заложил основу для глубокого обучения нейросетей, увеличив число скрытых слоев в них. Глубокое обучение позволяет создавать более сложные ИИ-системы, способные решать различные задачи — машинного перевода, компьютерного зрения, синтеза и распознавания речи.
Еще по теме экономики и технологии:
«Они нашли лазейку». После повышения утильсбора растут поставки в Россию автомобилей из Китая по доверенностям от покупателей
«Все под покровом тайны, тихо, чтобы никто ничего не заподозрил» В VK — массовые сокращения, уволены сотни сотрудников
«ВКонтакте» отключил возможность поиска видео «для взрослых»
«Интернет рано или поздно сломают». Власти решили потратить на изоляцию рунета почти 10 млрд рублей
За 2.5 года иномарки в РФ подорожали на 80%. А скоро цены вырастут еще сильнее. Из-за чего на этот раз? И остановит ли это рост авторынка?
Мы с семьей живем на 30 тысяч в месяц. Я — жена военного, и его зарплата — единственный источник дохода для нас и ребенка. Мы взяли ипотеку, делаем ремонт служебной квартиры и жестко экономим