Вся прелесть стройность теории работы и обучения однослойной нейросети выглядит неплохо, но в один момент времени весь оптимизм по поводу светлого будущего искусственного интеллекта чуть не уменьшился до самого абсолютного нуля.
Недостатки одного слоя
Дело в том, что конструкция сети, называемая однослойным персептроном способна обучиться для решения задач совсем узкого диапазона. Были обнаружены такие задачи, на которых нейросеть совершенно никак не показывала успехи в обучении. Давайте рассмотрим несколько примеров.
Начнем с простого. Пусть путем обобщения статистических данных обнаружено, что будущие летчики при поступлении в авиационный центр получившие хорошие результаты по двум тестам становятся профессионалами, а получившие по двум тестам плохие результаты обычно отчисляются.
На горизонтальной и вертикальной оси отложены результаты тестов. Если точка имеет обе высокие координаты, то это два успешных теста. Соответственно, отрицательные координаты это оба неуспешных прохождения испытания. Оранжевые точки это те, кто был отчислен, а синие это ставшие профессионалами.
На входе нейросети два рецептора, принимающие оценки (х1, х2) за тест. В результате обучения на имеющейся выборке выход сети должен обеспечивать максимально безошибочное решение по поводу дальнейшего будущего студента.
По окончанию обучения весовые коэффициенты подстроились. Как можно заметить, появилась некоторая граница, отделяющая неудачников от тех, кто продолжит обучение.
Обратите внимание, что благодаря градиентному методу обучения шаги подстройки весовых коэффициентов нейросети постепенно снижаются плавно приводя сеть в самую лучшую свою форму для решения задачи. Вблизи оптимального состояния адаптируемая система замедляет все свои процессы адаптации. Training loss - вероятность ошибки при обучении сети, test loss - вероятность ошибки при тестировании сети на ранее неизвестных наборах данных.
Таким образом, нейросеть помогла учебному центру сразу отказаться от неоправданных расходов и вероятно сохранила большое количество человеческих жизней. Конечно, при такой постановке вопроса мы и без всякой нейросети могли подобрать условия, при которых производились бы правильные решения с малым числом ошибок. Однако, сейчас начнутся случаи более сложные.
Давайте представим, что статистика выглядит так:
Оранжевые отчисляются, синие обычно становятся профессионалами. Сможет ли сеть самообучиться? К сожалению, нет. Нейронные связи никак не хотят адаптироваться для решения задачи.
А что если статистика выглядит так?
И снова неудача в попытке обучения. Вероятность ошибки никак не хочет опускаться. Вот примерно в таких условиях звезда нейронных сетей начала закатываться обратно за горизонт.
Роль скрытого слоя
Добавление скрытого слоя исправило ситуацию. Между рецепторами и выходом сети появляются промежуточные суммы произведений. Эти суммы передаются дальше по ходу распространения сигналов.
При такой конструкции, как можно заметить, нейронные связи смогли адаптироваться для решения более сложной задачи. В данном случае ошибки при обучении снизились до шести с небольшим процентов, а на ранее неизвестном наборе данных ошибки снизились до уровня шести процентов. По-моему, это успех.
А вот что происходит при такой статистике:
Отчисляются студенты с оценками за тесты, расположенными по концентрической окружности. Ошибки при обучении составили менее процента, однако при работе с ранее неизвестными наборами данных вероятность ошибки немного повыше, но все равно это большой успех. Главное это то, что нейросеть способна к обучению для решения задач повышенной сложности. Даже один скрытый слой дал гораздо больше возможностей.
В следующий раз можно рассмотреть каким образом можно обучить такую сеть и каких рекомендаций придерживаются специалисты при выборе размера и структуры мозга.
Поддержите статью лайком если понравилось и подпишитесь чтобы ничего не пропускать.
Также не обойдите вниманием канал на YouTube. Подписки и лайки будут приятным ответом от аудитории.
