С момента своего создания нейросетевые модели подчеркивают важность обучения. Существует множество алгоритмов обучения для нейронных сетей, включая алгоритм восприятия, правило BCM, размножение, алгоритм просыпания, Hepseping, Hintan, Day.
Независимо от того, идет ли речь о контролируемом или неконтролируемом обучении, эти алгоритмы реализуют обучение как процесс постепенной корректировки сильных сторон связи. Для контролируемого обучения обновления обычно направлены на улучшение возможностей алгоритма распознавания образов. Для неконтролируемого обучения, обновления работают в направлении постепенного приведения статистики внутренних закономерностей модели в соответствие со статистикой входных данных.
Композиционность
Композиционность - это классическая идея о том, что новые представления могут быть построены через сочетание примитивных элементов. В компьютерном программировании примитивные функции могут быть объединены вместе для создания новых функций, и эти новые функции могут быть в дальнейшем объединены для создания еще более сложных функций.
Эта иерархия функций обеспечивает эффективное описание функций более высокого уровня, как и иерархия деталей для описания сложных объектов или сцен. В основе продуктивности лежит также композиционность: бесконечное количество представлений может быть построено из конечного набора примитивов, как разум может мыслить бесконечное количество мыслей, произносить или понимать бесконечное количество предложений или изучать новые концепции из, казалось бы, бесконечного пространства возможностей.
Причинная обусловленность
В концептуальном обучении и осмыслении сцены причинно-следственные модели представляют собой гипотетические процессы реального мира, которые производят перцептивные наблюдения. В обучении по контролю и укреплению, причинно-следственные модели представляют собой структуру окружающей среды, такую как моделирование перехода от состояния к состоянию или перехода от действия/состояния к состоянию.
Концептуальные модели обучения и видения, использующие причинную связь, обычно носят генераторный характер, но не каждая генеративная модель также является причинно-следственной. В то время как генеративная модель описывает процесс генерации данных или, по крайней мере, распределение вероятностей по возможным точкам данных, этот генеративный процесс может не соответствовать тому, как данные производятся в реальном мире.
Причинная обусловленность относится к подклассу генеративных моделей, которые на абстрактном уровне напоминают то, как на самом деле генерируются данные. В то время как генеративные нейронные сети, такие как Deep Belief Networks или вариационные автокодеры могут создавать убедительные рукописные цифры, они отмечают один конец "причинного спектра" процесса, поскольку сходства в процессе генерации, как в самом начале, так и во втором.
Обучение для обучения
Когда люди или машины делают выводы, выходящие далеко за рамки данных, сильные предварительные знания (или индуктивные предубеждения или ограничения) должны восполнять разницу. Одним из способов получения таких предварительных знаний является термин "обучение к обучению", введенный Харлоу и тесно связанный с такими понятиями машинного обучения, как "передача обучения", "многозадачное обучение" или "представительское обучение".
Эти термины относятся к способам, с помощью которых обучение новой задаче (или новой концепции) может быть ускорено за счет предыдущего или параллельного обучения другим смежным задачам (или другим смежным концепциям). Сильные прецеденты, ограничения или индуктивная предвзятость, необходимые для быстрого усвоения конкретной задачи, часто в некоторой степени совпадают с другими смежными задачами. Был разработан ряд механизмов для адаптации индуктивной предвзятости учащихся по мере усвоения ими конкретных задач, а затем применения этих индуктивных предрассудков к новым задачам.
Нейронные сети также могут учиться учиться, оптимизируя гиперпараметры, включая форму правила обновления веса, по ряду связанных задач. Хотя передача знаний и многозадачное обучение уже являются важными темами в рамках ИИ и, в частности, глубокого изучения, они еще не привели к созданию систем, которые обучались бы новым задачам так же быстро и гибко, как люди. Получение данных, в большей степени напоминающих динамику человеческого фактора, в глубоких сетях и других подходах к машинному обучению может способствовать более активному переходу к новым задачам и новым проблемам.
Однако для того, чтобы в полной мере использовать преимущества, которые люди получают от обучения, возможно, сначала потребуется принять более композиционные и причинно-следственные формы представления, о которых мы говорили выше.
Но для хорошей работы современные нейросетевые подходы требуют гораздо большей предварительной подготовки, чем люди или наш байесовский подход к обучению, и они все еще далеки от решения проблемы персонажей.8
Планирование на основе моделей является важным компонентом человеческого интеллекта, позволяющим гибко адаптироваться к новым задачам и целям; именно здесь все богатые возможности построения моделей, рассмотренные в предыдущих разделах, получают свою ценность в качестве руководства к действию.
Одним из пограничных условий такой гибкости является тот факт, что навыки приобретают "привычку" при рутинном применении, что, возможно, отражает переход от контроля, основанного на моделировании, к контролю, свободному от моделирования. Такой сдвиг может произойти в результате рационального арбитража между системами обучения с целью достижения баланса между гибкостью и скоростью.
В соответствии с идеей сотрудничества между системами обучения, эксперимент показал, что модели поведения на основе моделей становятся автоматическими в процессе обучения. Таким образом, сочетание гибкости и эффективности может быть достигнуто, если мы будем использовать в качестве руководства системы обучения, укрепляющие человеческий потенциал.
Внутренняя мотивация также играет важную роль в обучении и поведении человека.