ЕАИ Энн Нью-Йоркская академия наук. Авторская рукопись; доступно в PMC 2015 17 февраля.
Роль стратегий в моторном обучении
Джордан А. Тейлор и Ричард Б. Иври, Кафедра психологии Калифорнийского университета, Беркли, КалифорнияИнститут нейробиологии Желен Уиллс, Калифорнийский университет, Беркли, Калифорния
Возобновился интерес к роли стратегий в сенсомоторном обучении. Сочетание новых поведенческих и вычислительных методов дают новые возможности для исследователей.
Эти процессы могут работать с очень разными сигналами ошибок. Обучение стратегии чувствительно к ошибкам в достижении целей. Напротив, адаптация чувствительна к ошибкам прогнозирования желаемых и фактических последствий запланированного движения.
Первый определяет, каким должно быть желаемое движение, тогда как второй указывает, как его реализовать.
В то время как традиционные подходы отдают предпочтение серийным моделям, в которых начальный этап, основанный на стратегии, уступает место более автоматизированным формам контроля, теперь кажется, что стратегические и адаптивные процессы работают со значительной независимостью на протяжении всего обучения, хотя относительный вес этих двух процессов будет меняться с изменениями в производительности (по мере осовоения навыка ).
Таким образом, приобретение навыков предполагает синергетическое взаимодействие стратегических и адаптивных процессов.
Ключевые слова: двигательное обучение; двигательная адаптация; моторика; познание
Введение
На школьных соревнованиях по легкой атлетике в 1963 году спортсмен из Орегона изменил лицо прыжков в высоту. Он применил на новую технику.
Дик Фосбери с трудом преодолевал даже скромные высоты, используя «Вестерн Рол», популярную в то время технику, при которой спортсмен "перекатывает" грудь над перекладиной.
После нескольких неудачных выступлений Фосбери вернулся к устаревшей технике «ножницы», при которой он просто перемахивал через перекладину боком. В одной из попыток он откинулся назад, перегнулся бедрами через перекладину и приземлился на спину.
Он не только пеодолел перекладину, но и при последующих прыжках стал оттачивать этот прием, полностью закидывая спину через перекладину. К концу турнира он увеличил свой личный рекорд на полфута. Хотя это улучшение первоначально вывело его на уровень, достигнутый лучшими исполнителями, использовавшими "перекат".
Ролл, Фосбери продолжал совершенствовать технику в последующие годы, и его главным достижением стала золотая медаль на Олимпийских играх 1968 года в Мехико. В течение нескольких лет почти все прыгуны переняли технику, которая по сей день носит его имя, — Фосбери-флоп.
Успех Фосбери привел к смене парадигмы в мире прыжков в высоту. Эффект от его техники был аналогичен тому, который наблюдался при использовании других крупных инноваций в прыжках в высоту (рис.1).
Развитие мировых рекордов в целом имеет циклический характер. После внедрения новой техники наступает период, когда мировой рекорд стабильно растет в течение относительно короткого периода, за которым следует довольно продолжительное плато.
Действительно, нынешнее плато эпохи Фосбери длится с 1993 года, когда Хавьер Сотомайор с Кубы преодолел высоту 2,45 метра.
История прыжков в высоту определяет тему этого обзора. Когда мы думаем о двигательных навыках, мы обычно сосредотачиваемся на способности исполнителя выполнять движение (как исключительный квотербек обладает суперброском или, как звездная теннисистка развивает такую невероятную силу при двуручном ударе слева).
Однако в большей части этой дискуссии упускается из виду роль понимания и стратегии. Что побудило Фосбери попытаться перелезть через перекладину задом наперед? Как применение когнитивной стратегии меняет производительность и, в конечном итоге, влияет на обучение?
Исследования двигательного обучения мало уделяют внимания роли когнитивных стратегий, отчасти потому, что такие процессы обычно трудно формализовать и они часто варьируются.
В этом обзоре мы обращаемся к этому ограничению и выделяем экспериментальные методы, направленные на прямую оценку вклада когнитивных стратегий в сенсомоторную адаптацию.
Затем мы обсудим, как вычислительные модели могут включать такие процессы и предоставить средства для количественного понимания вклада когнитивных процессов в двигательное обучение.
Этапы обучения
Фиттс и Познер предложили модель приобретения навыков, состоящую из трех этапов. В их ныне классической теории производительность характеризовалась тремя последовательными стадиями, называемыми когнитивной, ассоциативной и автономной стадиями (рис. 1Б).
Когнитивная стадия отмечает период, в течение которого цели задачи устанавливаются и используются для определения соответствующей последовательности действий для достижения желаемой цели.
Обучение на этом этапе обычно предполагает использование явных знаний. Для Фосбери решение перешагнуть планку задом наперед представляет собой когнитивную стадию.
После того как последовательность действий определена, обучающийся вступает в ассоциативную стадию, на которой внимание может быть сосредоточено на конкретных деталях последовательности, определяя соответствующие ее части и переходы.
На этом этапе может потребоваться некоторое исследование пространства решений, возможно, с пересмотром одного сегмента, чтобы гарантировать, что все действия выполняются плавно и скоординировано. Хотя Фосбери первым предложил идею прыжка вперед спиной, другие прыгуны усовершенствовали эту общую стратегию и выработали правильную постановку ног, время и ориентацию тела.
Заключительный этап обучения — это автономный этап, этап, на котором действие отрабатывается для оттачивания производительности до автоматизированной рутины. Что касается прыжков в высоту, можно сказать, что Фосбери и его коллеги провели поколение прыгунов через когнитивные и ассоциативные стадии. Но каждый из этих людей должен был потратить бесчисленные часы практики, необходимые для достижения элитных результатов на автономном этапе.
В более общем плане кривые обучения по широкому кругу задач имеют общую форму, соответствующую базовой модели Фиттса и Познера.
Существует начальная фаза, отмеченная быстрым улучшением производительности, за которой следует более постепенная фаза, на которой прирост производительности увеличивается гораздо медленнее.
Для объяснения этих функций было предложено множество теорий. В модели Фиттса и Познера акцент делается на сдвиге в контроле, при котором первоначальный, явный контроль уступает место более рутинным формам контроля.
Другие модели подчеркивают, что эти функции могут отражать параллельную работу нескольких процессов.
Логан представил теорию, согласно которой исполнение отражает скачки между алгоритмическим, явным процессом (сродни когнитивной стадии) и процессом восстановления памяти.
Хотя предполагалось, что оба процесса действуют на всех стадиях производительности, с течением времени естественным образом возникает сдвиг в их относительном вкладе по мере увеличения базы памяти.
Психологические теории, такие как теории Фиттса, Познера или Логана, предлагают общую основу для понимания функций приобретения навыков.
Аналогичные функции обучения наблюдаются при исследованиях сенсомоторной адаптации. Эта работа породила богатую литературу по вычислительной технике, в которой изменения производительности анализируются с инженерной точки зрения, основанной на идеях, связанных с системами управления.
Однако этот новый подход к моделированию только начал рассматривать роль когнитивных процессов во время двигательного обучения, процессов, которые были присущи моделям Фиттса, Познера и Логана.
Сенсомоторная адаптация
Распространенный метод изучения моторного обучения — это введение возмущения (помех) в экспериментальный контекст.
Участники должны научиться компенсировать эти возмущения, чтобы вновь достичь высокого уровня производительности. Возмущение приводит к ошибке между командой двигателя и желаемым результатом.
Этот сигнал ошибки служит входными данными для обновления внутренней модели, сопоставления желаемой цели и двигательной реакции, необходимой для достижения этой цели (рис. 2А).
Таким образом, отображение уточняется для корректировки команд двигателя. В целом предполагается, что цель остается постоянной; например, прыгун в высоту всегда хочет перепрыгнуть планку. Неспособность достичь этой цели может привести к изменениям в характеристиках, например, к изменению угла взлета или времени толчка.
Для изучения сенсомоторной адаптации использовался широкий спектр экспериментальных парадигм. Одно из популярных заданий включает в себя зрительно-моторное вращение, при котором нарушается визуальная обратная связь, указывающая положение руки (рис. 2Б).
Зрительно-моторные адаптации распространены в повседневной жизни. Например, использование компьютерной мыши требует изучения соответствия между портативным устройством и положением курсора на экране компьютера. В экспериментальном контексте это отображение может быть нарушено. Во многих исследованиях изменяется соотношение ввода-вывода между такими устройствами, как мышь или джойстик. В других условиях участники совершают тянущиеся движения, при которых рука не видна, а для обратной связи используется курсор.
Естественное сопоставление между рукой и пространством искажается. При зрительно-моторном вращении обратная связь о положении руки регулируется вращательным способом. Ротации обычно принимают значения в диапазоне от 30° до 60°.
Эта задача хорошо подходит для изучения взаимодействия выбора действия и двигательного выполнения. Участники легко адаптируются к зрительным возмущениям, демонстрируя снижение целевых ошибок по мере тренировки. Адаптация происходит постепенно, при этом функция обучения обычно соответствует экспоненциально убывающей функции.
Эта закономерность согласуется с гипотезой о том, что сигнал ошибки используется для непрерывной корректировки зрительно-моторного отображения, причем величина изменения пропорциональна ошибке.
Таким образом, крупные ошибки, наблюдаемые на ранних этапах обучения, приводят к относительно большим изменениям в производительности по сравнению с последствиями небольших изменений, происходящих на поздних стадиях обучения. После тренировки зрительно-моторное вращение прекращается и восстанавливается исходная среда. Это вызывает выраженное последействие, при котором ошибки теперь происходят в направлении, противоположном первоначальному искажению.
Если предоставляется обратная связь, процесс обучения повторяется, чтобы «смыть» эффекты измененного сенсорно-моторного отображения и восстановить исходное отображение.
Наличие последействия считается признаком истинной адаптации. Повышение производительности (например, уменьшение ошибок) также возможно за счет реализации стратегии или изменения выбранного действия; однако в любом случае последействие должно либо отсутствовать, либо быстро уменьшаться. Термин «моторное обучение» обычно охватывает изменения, которые могут повлечь за собой сочетание изменения сенсомоторной карты в результате адаптации и повышения производительности в результате других, неадаптивных процессов.
Стратегии движения
В типичном исследовании адаптационного зюкомотора возмущение
внезапно вводится после базового периода обучения. На первом испытании
участник будет удивлен, увидев большую ошибку. Например, если обратная
связь представлена только в конечной точке движения, участник внезапно
видит обратную связь, указывающую на погрешность 30°. Хотя одно
испытание может быть списано как случайное событие, повторение этой
ошибки с последующими испытаниями приводит к тому, что многие участники
осознают, что окружающая среда была нарушена. Это осознание предполагает
альтернативный отчет об адаптации к видеосъемке: участник может принять
стратегию, чтобы направить свое движение в направлении, противоположном
вращению.
Обычно предполагается, что обучение на основе стратегий не
является одним из основных факторов, способствующих адаптации к
люксомоторам. Во-первых, функция обучения в период вымывания аналогична
по форме, хотя и с более высокой скоростью обучения, чем наблюдаемая на
начальном этапе обучения. Если бы участник использовал стратегию, можно
было бы ожидать, что смыв будет происходить более или менее
категорически. То есть участник может просто не применять стратегию,
чтобы снова установить нормальное сенсомоторное отображение. Тем не
менее, хотя обучение может включать в себя больше, чем реализация
стратегии, важно признать, что в результате стратегических процессов
может внести вклад в работу. Что еще более важно, важно учитывать, как
стратегия, если она используется, влияет на процессы, связанные с
адаптацией к сенсомоторной адаптации.
В качестве повседневного примера рассмотрим, как люди
корректируют свое поведение при езде на переполненном городском
автобусе. Если вы будете вынуждены стоять, можно сопоставить мышцы ног,
чтобы увеличить жесткость, сделав ноги (и человека) устойчивыми к
небольшим и неожиданным изменениям в ускорении. Хотя эта стратегия может
быть эффективной, она энергетически расточительна. Альтернативная,
более адаптивная процедура заключается в том, чтобы двигательная система
предсказывала предстоящие возмущения. Предположим, что оба процесса
действен. Как использование стратегии доцепа влияет на адаптацию
двигателя? Если мы предположим, что вход в систему адаптации является
погрешностью двигателя, адаптационная система может работать
неоптимальным образом, поскольку погрешность двигателя значительно
уменьшается при сжатии. Способна ли адаптационная система включать
информацию об уровне сжатия в свои вычисления? Или эта система действует
модульным образом, не зная контекста, созданного решением человека
застыть конечности?
Одним из подходов к изучению этих вопросов является
сопоставление условий, в которых участники либо осведомлены, либо не
знают об экспериментально индуцированной возмущении10,1110,11,
как отмечалось выше, в стандартной задаче по адаптации визуомоторной
адаптации резко накладывается большая ротация. Это производит как
большой сигнал ошибки, так и во многих ситуациях создает ситуацию, в
которой участники осознают, что окружающая среда была изменена.
Альтернативно, возмущение может быть введено небольшими инкрементами,
такими как 1° каждые 10 испытаний, при этом полное вращение 90°
достигается только после 300 испытаний (рис. 3А).
В этих условиях участники, как правило, не имеют представления о
возмущении, потому что индуцированная визуальная ошибка находится в
пределах изменчивости, связанной с двигательной системой. Адаптация
происходит непрерывным образом в этих условиях, предотвращая накопление
небольших ошибок до заметного уровня (рис. 3В).
К концу обучения выступление участников будет схожим. Однако, когда
вращение отключается, последствие, как правило, меньше для участников в
резком состоянии.10
Кроме того, когда участники получают знания о вращении посредством
самовывода или инструкций, производительность связана с большой пробной
дисперсией и более длительным временем реакции, по крайней мере, на
ранних стадиях адаптации.1212 - 14
Эти особенности позволяют предположить, что осознание участниками возмущения в резком состоянии может
изменить их работу. Некоторые участники могут предпочесть протестировать стратегии, чтобы компенсировать большую
ошибку, наблюдаемую после начала ротации, хотя использование таких стратегий, вероятно, будет весьма
индивидуальным для разных людей, а также будет варьироваться в зависимости от испытаний для конкретного
человека. С гипотезой использования стратегии согласуется наблюдение, что участники с более высокой
способностью пространственной рабочей памяти, как правило, демонстрируют более высокие темпы адаптации.
Вербальная рабочая память также связана с двигательной адаптацией. При последовательном обучении с двумя
разными сенсомоторными картами последующая задача вербального обучения только нарушала память о самой
последней карте. Интересно, что этот эффект не наблюдался, когда вербальная задача не включала обучение (
например, подсчет гласных), что позволяет предположить, что точка перекрытия находилась в процессах,
связанных с обучением как таковым.
Специфика здесь может отражать вмешательство в вербальную стратегию (например, «В следующем испытании я
толкну влево»).
Манипуляции с двумя задачами предложили косвенный метод оценки стратегического вклада в
двигательное обучение. Основная логика заключается в том, что когнитивные потребности для поддержания и
реализации стратегии будут облагаться параллельной второстепенной задачей.
Действительно, когда второстепенная задача выполняется одновременно с задачей сенсомоторной адаптации,
прирост производительности во время тренировки снижается.1-21 Интересно, что даже на первый взгляд
автоматические процессы, такие как освоение новой пространственно-временной модели ходьбы, влияют на
интерференцию двух задач.22 Более того, эффекты интерференции двух задач не ограничиваются
Условия, в которых участники осознают сенсомоторное возмущение.21 Таким образом, затраты на выполнение двойной задачи могут быть не связаны с развертыванием стратегических процессов. Вместо этого помехи могут быть вызваны другими общими этапами обработки, такими как требования к сенсорной обработке для основных и второстепенных задач.
Прямое взаимодействие выбора действия и двигательной адаптации.
В большинстве экспериментальных парадигм использование стратегии во время двигательного обучения является прерогативой участника; экспериментатор может только делать вывод об использовании стратегии из поведения. Маццони и Кракауэр23 представили новый метод для непосредственного изучения влияния использования стратегии на зрительно-моторную адаптацию. Рабочее пространство состояло из восьми визуальных ориентиров, расположенных на расстоянии 45° друг от друга. В каждом испытании визуальная цель появлялась на одном из ориентиров. Изначально участников обучали тянуться прямо к цели. После этой
базовой фазы был предложен поворот на 45° против часовой стрелки (рис. 4А), и в двух попытках наблюдались значительные визуальные
ошибки. Затем экспериментатор попросил участника
использовать стратегию противодействия повороту, направив взгляд на 45° по часовой стрелке к
соседнему ориентиру (рис. 4В). Стратегия сразу же оказалась эффективной, нейтрализовав
визуальную ошибку. Удивительно, но по мере продолжения обучения производительность ухудшалась: конечные точки движения смещались в течение попыток в направлении стратегии. То есть, углы направления были
больше заданных 45° (рис. 4С). Таким образом, производительность участников ухудшалась
по мере увеличения практики (рис. 4D).
Чем можно объяснить этот загадочный эффект? Почему система продолжает меняться ... Маццони и Кракауэр23 предположили, что это
явление отражает текущую работу имплицитной системы двигательной адаптации.
Важно отметить, что сигнал ошибки, используемый для адаптации, основан на разнице между
желаемым местом прицеливания и визуальной обратной связью курсора. То есть процесс адаптации
не учитывает разницу между целью движения (например, целью) и
обратной связью движения, несмотря на то, что эта информация определяет успешность задачи. Как
подчеркнули Маццони и Кракауэр23, явление дрейфа убедительно доказывает,
что процессы сенсомоторной адаптации отделены от целевых стратегий движения.
Мы приступили к дальнейшему изучению взаимодействия или его отсутствия между стратегическими и
адаптационными процессами. В своем первоначальном исследовании Маццони и Кракауэр23 ограничили обучение 80
пробами, и к концу этого периода конечная ошибка увеличилась до более чем 25°, предположительно,
потому что система адаптации продолжала компенсировать несоответствие между
местом прицеливания и местом обратной связи. Будет ли этот процесс продолжаться до тех пор, пока
ошибка не будет устранена, что приведет к наблюдаемой конечной ошибке 45°? Чтобы проверить это, мы
увеличили период обучения в четыре раза до 320 проб.24 При таком расширенном обучении базовый эффект дрейфа наблюдался в течение первой части периода обучения, за которым последовал обратный эффект, и к концу обучения результаты стали практически идеальными. Чтобы количественно оценить это немонотонное поведение, мы разработали новую модель пространства состояний, которая позволяет фиксировать изменения производительности от попытки к попытке.24 Ключевая идея модели заключается в том, что выходной сигнал является результатом двух процессов обучения: один связан с выполнением движения, а другой — с планированием действий. Более того, эти два процесса используют разные сигналы об ошибках. Во-первых,
Разница между желаемым движением и фактическим результатом, которую мы называем ошибкой прицеливания, используется системой адаптации для перекалибровки внутренней модели. Этот компонент аналогичен стандартным моделям пространства состояний сенсомоторной адаптации.25–27 Однако в большинстве исследований желаемое движение обычно направлено на цель; в варианте с использованием стратегии желаемое движение теперь направлено на точку прицеливания. Во-вторых, разница между целью и точкой обратной связи определяет ошибку цели – сигнал, который используется для корректировки стратегии движения (рис. 5А).
Моделируя параллельную работу этих двух
процессов, модель дает отличное соответствие функции, производимой
нашими участниками. Реализация стратегии немедленно компенсирует
ротацию. Со временем целевая ошибка увеличивается, дрейфуя в направлении
стратегии, а затем функция переворачивается, чтобы стабилизировать
правильную производительность (рис. 5В).
Важно отметить, что модель не влечет за собой каких-либо «этаментов»,
на которых контроль смещается между «стратегическими» и «адаптацией»
фазами. Оба процесса всегда функциональны. Дрифт занимает видное место
на ранней стадии периода обучения после реализации стратегии, потому что
ошибка прицеливания велика, а ошибка цели невелика. Это приводит к
большим изменениям в системе адаптации и небольшим корректировкам
стратегии. По мере того, как ошибка цели становится большой,
корректировка стратегии становится все более заметной. Важно отметить,
что даже когда производительность стабилизируется с минимальной
погрешностью цели, эти два процесса продолжают работать, достигая
стабильного напряжения. Это напряжение проявляется в последствии,
наблюдаемом при удалении вращения, и участникам говорят прекратить
использование стратегии.В дополнение к выделению параллельной работы двух процессов
обучения, модель также дает свежий взгляд на то, как взаимодействуют
стратегические и адаптационные процессы. В соответствии с гипотезой
Маццони и Кракауэра 2323,
неявная адаптационная система, по-видимому, полностью изолирована от
стратегии. Сигнал ошибки прицеливания, который используется для
перекалибровки этой системы для обеспечения точного выполнения движения,
основан на разнице между прогнозируемым и фактическим результатом
движения; этот сигнал не включает стратегию участника, что приводит к
парадоксальному дрифту. Напротив, стратегия корректируется сигналом
ошибки, отражающим цель движения, которая определяется как разница между
тем, где находится цель, и тем, где закончилось движение. Обучение в
рамках этой системы изменяет представление, имеющее отношение к
планированию действий, ориентированное на обеспечение достижения
желаемой цели.Хотя адаптационная система является модульной, поскольку она
не учитывает стратегию (например, признать, что обратная связь может
быть вытеснена из-за стратегии, принятой для отмени ротации), влияние
адаптационной системы на корректировку стратегии неясно. В нашей модели
стратегический процесс имеет только доступ к целевой ошибке, разницу
между целью и обратной связью; он не имеет доступа к изменениям,
вытекающим из адаптации. Таким образом, влияние носит косвенный
характер.Как было рассмотрено выше, некоторые особенности
производительности — более медленные RT, повышенная изменчивость и
меньшие последствия — привели к выводу, что участники могут принять
стратегию, чтобы компенсировать большое возмущение в задачах по
адаптации к визуомотору. Однако ни одно из этих исследований не сообщало
о феномене дрейфа. Это вызывает недоумение, если предположить, что,
принимая стратегию (например, «целенаправленное в направлении цели по
часовой стрелке), создается несоответствие между местоположением
прицеливания и местоположением обратной связи. Почему явная инструкция
по использованию стратегии должна производить дрейф, в то время как
самопознание участника этого не делает?Ответ, по-видимому, обусловлен вторым важным
методологическим отличием между этими стандартными задачами по адаптации
к видеосъемке и вариантом, введенным Маццони и Кракауэром23.
Последний включал видимые ориентиры, расположенные каждые 45°, чтобы
обеспечить ориентир для стратегии. В стандартной задаче эти ориентиры
отсутствуют; участники видят только стимул в целевом месте. Мы
предлагаем, чтобы ориентиры служили прокси для прогнозируемого места
движения. То есть, даже если система адаптации использует ошибку,
основанную на разнице между прогнозируемым и фактическим движением,
ориентиры обеспечивают характерный референт для прогнозируемого
местоположения движения. Когда эти ориентиры отсутствуют, чувство
участника предсказанного движения (например, 45° часовой стрелкой от
цели), вероятно, неопределенно, и, таким образом, взвешивание,
придаваемое термину ошибки прицеливания, ослабевает. Мы проверили эту
идею, сравнив условия, в которых ориентиры всегда присутствовали,
исчезали при инициации движения или никогда не были представлены (рис. 5С и D). В соответствии с гипотезой определенности, степень дрейфа была ослаблена по мере увеличения неопределенности.24 24Действительно, когда ориентиры никогда не присутствовали, дрейф был минимальным во всем тренировочном блоке.
Обучение на основе вознаграждения и адаптация на основе ошибок
Хотя наша работа по моделированию влечет за собой два
термина ошибки, обучение на основе ошибок может быть не самым подходящим
способом охарактеризовать процесс корректировки стратегии. Скорее,
обучение в рамках стратегического процесса с его акцентом на цель
движения может быть лучше описано с точки зрения моделей обучения с
подкреплением. Эти модели предназначены для объяснения того, как
организмы исследуют различные области стратегического пространства,
пытаясь определить политику действий, которая приводит к наибольшему
вознаграждению. В нашей задаче может произойти сдвиг в политике, когда
рост целевой ошибки из-за адаптации становится слишком большим. То есть,
когда выбранное действие не может достичь предсказанной награды, может
быть принята новая стратегия. В нашем исследовании только несколько
участников продемонстрировали категорические изменения в
производительности. Для этих участников мы наблюдали резкое снижение
целевой ошибки, предполагая, что участник либо прекратил использовать
стратегию, либо внес категорическое изменение в свою стратегию
(например, переключился с цели на ориентир на позицию между двумя
ориентирами). Для других участников данные свидетельствуют о более
постепенном изменении стратегии с постепенными изменениями, которые в
конечном итоге привели к успеху движения.Взаимосвязь между обучением с подкреплением и сенсомоторной
адаптацией была подчеркнута в недавнем исследовании, в котором
участникам была предоставлена только категорическая обратная связь при
изучении ротации.28
В этом формате участникам не давали визуальную обратную связь о
конечной точке движения, а вместо этого наблюдали взрыв цели на успешных
испытаниях, в которых рука проходила в критерийном окне. По сравнению
со стандартными адаптационными задачами, обучение здесь
характеризовалось резким увеличением дисперсии, ограниченным обобщением
до необученных движений и снижением сенсомоторного переназначения. Кроме
того, функция обучения может быть объяснена моделью обучения,
основанной на вознаграждении, в которой политика действий (направление
цели) корректируется для максимизации коэффициента вознаграждения.
Подобно инструктивным стратегическим задачам, исследование Izawa и
Shadmehr 28
также предполагает, что моторное обучение может состоять из (по крайней
мере) двух процессов: процесс выбора действий на основе вознаграждения и
процесс адаптации на основе ошибок.Форма и определенность визуальной обратной связи влияет на
форму репрезентативных изменений, связанных с изменениями
производительности. Последствия являются более значительными, когда
обратная связь является непрерывной во время адаптации, по сравнению с
условиями, в которых обеспечивается только конечная обратная связь или
знание производительности.29 - 31
Непрерывная визуальная обратная связь обеспечивает более характерную
пространственно-височную обратную связь взаимосвязи между движением и
обратной связью. Таким образом, информация более надежна, с плотной
коваризацией между командами двигателя и их результатом. Увеличение этой
ковариации, по-видимому, облегчает адаптацию, о чем свидетельствует
более крупный последующий эффект. И наоборот, уменьшение этой
ковариантности способствует обучению через стратегические процессы,
очевидные в ослабленном последствии. Действительно, в своей
вычислительной модели Изава и Шадммер 28
показывают, как неопределенность визуальной обратной связи может
распределять обучение между процессами адаптации или выбора действия.
Как и в нашей модели, оба процесса, похоже, работают параллельно.Считается, что ошибки движения обеспечивают сигнал, который
используется для постепенного обновления внутренней модели, которая
предсказывает последствия двигательных команд, учитывая динамику
окружающей среды. Обобщение, в котором движения в новые направления или в
новых контекстах показывают эффекты обучения, были приняты как
свидетельство наличия внутренней модели для управления двигателем.
Однако моторное обучение может возникнуть путем подкрепления, просто
связывая успех или неудачу выполненного движения. Эта форма обучения
была названа «без модели», потому что обратная связь не направляет
формирование внутренней модели динамики задач, а скорее только ценность
потенциальных действий или движений.32 Обучение без модели также может возникнуть из чистого повторения, 3232,33,33 или того, что было названо зависимой от использования пластичностью. Работа по модели и без модели обучения снова подчеркивает, что моторное обучение является составным термином.
Нейронные системы, поддерживающие выбор действия и исполнение моторов
Эта двухпроцессная интерпретация может также дать новую
перспективу для понимания последствий нервной патологии для конкретных
процессов обучения. Рассмотрим влияние повреждения мозжечка на
сенсомоторный контроль и адаптацию. Многочисленные исследования
показали, что пациенты с мозжечковой атаксией показывают ослабленную
адаптацию. Предполагается, что эти результаты отражают работу
скомпрометированной системы обучения. -
В качестве альтернативы, производительность пациентов может отражать
реализацию компенсаторного процесса, в котором они стали полагаться на
альтернативные формы контроля. Ланг и Бастиан 38
наблюдали, что пациенты с повреждением мозжечка работали на удивление
хорошо, когда их просили сделать быстрые сложные движения рисования,
достигнув уровня производительности, сопоставимого с уровнем контрольных
участников. Однако, когда задание по рисованию выполнялось одновременно
со второстепенным заданием, их результативность заметно снижалась. Эти
результаты свидетельствуют о том, что пациенты, возможно, полагались на
систему контроля, основанную на стратегии, которая облагалась налогом
путем включения вторичной задачи.Мы напрямую затронули этот вопрос, предоставив четкую
стратегию группе лиц с двусторонней дегенерацией мозжечка, которым была
представлена вигомоторная ротация39.
Пациенты не испытывали трудностей с реализацией стратегии и успешно
противодействовали ротации на 45°. Однако по сравнению с контрольными
участниками, у пациентов наблюдалось ослабленное дрейф; их
производительность оставалась точной на протяжении всего тренировочного
блока. Эти результаты показывают, что пациенты с мозжечковой
дегенерацией могут использовать стратегию, и на самом деле их
использование стратегии остается стабильным, потому что она не
нарушается работой системы адаптации.Наши результаты согласуются с предыдущей работой,
показывающей, что пациенты с повреждением мозжечка ослаблены при
сенсомоторной адаптации.3635,36,40
Интересно спросить, почему эти люди не генерируют компенсаторные
стратегии в задачах с использованием стандартных задач адаптации. То
есть, если сигнал ошибки остается стабильным в испытаниях (из-за
нарушения механизма обучения), почему пациенты не придумывают стратегию,
учитывая, что у них нет особых трудностей с использованием одной, когда
им дают четкие инструкции? Вполне возможно, что, хотя процесс адаптации
изолирован от стратегий, обратное может быть неверным; процессы
адаптации могут информировать стратегические процессы. Например,
вращения визуомторов создают сложную картину ошибок. Система адаптации
может помочь в формировании стратегии движения путем предоставления
подробной информации об ошибках. Без этой информации может быть трудно
создать успешную стратегию, потому что стратегия предназначена для
преодоления этих ошибок.Таким образом, повреждение мозжечка может не только нарушить
адаптацию сенсомотора, но и может нарушить генерацию когнитивных
стратегий. Эта гипотеза может также помочь объяснить, почему пациенты с
мозжечковой дегенерацией показывают большее ухудшение в обучении, чтобы
компенсировать резкую и большую возмущение силового поля, по сравнению с
тем, когда возмущение вводится постепенно.37 37Когда
ошибки велики, мозжечок может работать совместно с лобовыми областями,
чтобы помочь в процессе выбора действия, необходимого для генерации
стратегии движения.41,42Повреждения ПФУ, либо виртуально с транскраниальной
магнитной стимуляцией, либо от естественных поражений, могут нарушить
производительность на сенсомоторных задачах.43 Пациенты с поражениями ПФК проявляют выраженный дефицит в адаптации к визуомотору.44 44- 46
Интересно, что эти пациенты испытывают трудности с описанием
возмущения, или, когда они осознают это, испытывают трудности с
сообщением о том, какие действия потребуются44,454748.
Формирование стратегии движения
В настоящее время был достигнут значительный прогресс в
разработке вычислительных моделей, описывающих сенсомоторную адаптацию.
Напротив, мы мало знаем о процессе разработки стратегии. Какие источники
информации используются для создания и изменения стратегий? Какова
динамика изменения стратегии? Существуют ли сигналы, присущие действиям
или зависимым от задач переменным, которые помогают определить
пространство решения? Что заставило Фосбери откинуться назад, когда он
вернулся к технике ножниц? Его готовность порвать с условностями своего
времени, возможно, была вызвана тем фактом, что посадочная яма теперь
была заполнена амортизирующей пеной, а не опилками и древесной щепой. С
более мягкими материалами прыгунам больше не приходилось беспокоиться о
посадке на ноги или руки.Чтобы полностью понять разработку и изменение стратегии,
необходимо будет охарактеризовать вклад в процесс стратегии. Популярные
задачи по изучению выбора действия, такие как задача n-бандитов, как
правило, ограничены небольшим фиксированным набором дискретных действий.
Это ограничивает пространство поиска конечным набором альтернатив
действия-выхода. В управлении двигателем пространство поиска непрерывно и
в некотором смысле почти бесконечно. Также неясно, является ли
вознаграждение в качестве движущей силы для системы стратегии. Награда
во многих контекстах дискретна — выбор был либо правильным, либо
неправильным. Однако действия, особенно когда они связаны со сложными
последовательностями движений, гораздо более разнообразны. Как будут
использоваться сигналы вознаграждения для обучения стратегическому
процессу с почти бесконечным пространством действия? Разумный
экспериментальный подход потребует более сложной ситуации, задач, в
которых существует относительно ограниченный набор потенциальных
действий для изоляции входных данных и характеристики времени
стратегического процесса.Работа в этом направлении может обеспечить новую перспективу для понимания не только изменения стратегии, но и спонтанного развития стратегии. Значительные исследования были посвящены пониманию процессов, лежащих в основе спонтанного понимания задач по решению проблем.50
Методы заимствования из литературы могут дать ключ к разработке
стратегии в области двигательной области и помочь нам понять прогресс в
производительности человека. Как показано на рисунке
1, мировой рекорд по прыжкам в высоту не менялся с 1993 года. Хотя мы
можем увидеть новый прыгун, совершенный Фосбери-Флоп и производящий
постепенное изменение в записи, следующее восхождение на планку,
вероятно, потребует открытия радикально новой техники.
Ссылки на источники
1.Hoffer R. Something in the Air: American Passion and Defiance in the 1968 Mexico City Olympics. Free Press; New York: 2009. [Google Scholar]
2.Fitts PM, Posner MI. Human Performance. Brooks/Cole Pub. Co; Belmont, CA: 1967. [Google Scholar]
3.Crossman ERFW. A theory of the acquisition of speed-skill. Ergonomics. 1959;2:143–166. [Google Scholar]
4.Seibel R. Discrimination reaction time for a 1,023 alternative task. J Exp Psychol. 1963;66:215–226. doi: 10.1037/h0048914. [DOI] [PubMed] [Google Scholar]
5.Logan G. Toward an instance theory of automatization. Psychol Rev. 1988;95:492–527. [Google Scholar]
6.Cunningham HA. Aiming error under
transformed spatial mappings suggests a structure for visualmotor maps. J
Exp Psychol Hum Percept Perform. 1989;15:493–506. doi:
10.1037//0096-1523.15.3.493. [DOI] [PubMed] [Google Scholar]
7.Imamizu H, Uno Y, Kawato M. Internal
representations of the motor apparatus: implications from generalization
in visuomotor learning. J Exp Psychol Hum Percept Perform.
1995;21:1174–1198. doi: 10.1037//0096-1523.21.5.1174. [DOI] [PubMed] [Google Scholar]
8.Pine ZM, Krakauer JW, Gordon J, Ghez
C. Learning of scaling factors and reference axes for reaching
movements. Neuroreport. 1996;7:2357–2361. doi:
10.1097/00001756-199610020-00016. [DOI] [PubMed] [Google Scholar]
9.Krakauer JW, Pine ZM, Ghilardi MF,
Ghez C. Learning of visuomotor transformations for vectorial planning of
reaching trajectories. J Neurosci. 2000;20:8916–8924. doi:
10.1523/JNEUROSCI.20-23-08916.2000. [DOI] [PMC free article] [PubMed] [Google Scholar]
10.Kagerer FA, Contreras-Vidal JL,
Stelmach GE. Adaptation to gradual as compared with sudden visuomotor
distortions. Exp Brain Res. 1997;115:557–561. doi: 10.1007/pl00005727. [DOI] [PubMed] [Google Scholar]
11.Hwang EJ, Smith MA, Shadmehr R.
Dissociable effects of the implicit and explicit memory systems on
learning control of reaching. Exp Brain Res. 2006;173:425–437. doi:
10.1007/s00221-006-0391-0. [DOI] [PMC free article] [PubMed] [Google Scholar]
12.Saijo N, Gomi H. Multiple motor
learning strategies in visuomotor rotation. PloS One. 2010;5:e9399. doi:
10.1371/journal.pone.0009399. [DOI] [PMC free article] [PubMed] [Google Scholar]
13.Fernandez-Ruiz J, Wong W, Armstrong
IT, Flanagan JR. Relation between reaction time and reach errors during
visuomotor adaptation. Behav Brain Res. 2011;219:8–14. doi:
10.1016/j.bbr.2010.11.060. [DOI] [PubMed] [Google Scholar]
14.Benson BL, Anguera JA, Seidler RD. A
spatial explicit strategy reduces error but interferes with
sensorimotor adaptation. J Neurophysiol. 2011;105:2843–2851. doi:
10.1152/jn.00002.2011. [DOI] [PMC free article] [PubMed] [Google Scholar]
15.Martin TA, Keating JG, Goodkin HP,
et al. Throwing while looking through prisms. II. Specificity and
storage of multiple gaze-throw calibrations. Brain. 1996;119(Pt
4):1199–1211. doi: 10.1093/brain/119.4.1199. [DOI] [PubMed] [Google Scholar]
16.Anguera JA, Reuter-Lorenz PA,
Willingham DT, Seidler RD. Contributions of spatial working memory to
visuomotor learning. J Cogn Neurosci. 2010;22:1917–1930. doi:
10.1162/jocn.2009.21351. [DOI] [PubMed] [Google Scholar]
17.Keisler A, Shadmehr R. A shared
resource between declarative memory and motor memory. J Neurosci.
2010;30:14817–14823. doi: 10.1523/JNEUROSCI.4160-10.2010. [DOI] [PMC free article] [PubMed] [Google Scholar]
18.Eversheim U, Bock O. Evidence for
processing stages in skill acquisition: a dual-task study. Learn Mem.
2001;8:183–189. doi: 10.1101/lm.39301. [DOI] [PMC free article] [PubMed] [Google Scholar]
19.Taylor JA, Thoroughman KA. Motor
adaptation scaled by the difficulty of a secondary cognitive task. PloS
One. 2008;3:e2485. doi: 10.1371/journal.pone.0002485. [DOI] [PMC free article] [PubMed] [Google Scholar]
20.Taylor JA, Thoroughman KA. Divided
attention impairs human motor adaptation but not feedback control. J
Neurophysiol. 2007;98:317–326. doi: 10.1152/jn.01070.2006. [DOI] [PubMed] [Google Scholar]
21.Galea JM, Sami SA, Albert NB, Miall
RC. Secondary tasks impair adaptation to step- and gradual-visual
displacements. Exp Brain Res. 2010;202:473–484. doi:
10.1007/s00221-010-2158-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
22.Malone LA, Bastian AJ. Thinking
about walking: effects of conscious correction versus distraction on
locomotor adaptation. J Neurophysiol. 2010;103:1954–1962. doi:
10.1152/jn.00832.2009. [DOI] [PMC free article] [PubMed] [Google Scholar]
23.Mazzoni P, Krakauer JW. An implicit
plan overrides an explicit strategy during visuomotor adaptation. J
Neurosci. 2006;26:3642–3645. doi: 10.1523/JNEUROSCI.5317-05.2006. [DOI] [PMC free article] [PubMed] [Google Scholar]
24.Taylor JA, Ivry RB. Flexible
cognitive strategies during motor learning. PLoS Comput Biol.
2011;7:e1001096. doi: 10.1371/journal.pcbi.1001096. [DOI] [PMC free article] [PubMed] [Google Scholar]
25.Thoroughman KA, Shadmehr R. Learning
of action through adaptive combination of motor primitives. Nature.
2000;407:742–747. doi: 10.1038/35037588. [DOI] [PMC free article] [PubMed] [Google Scholar]
26.Cheng S, Sabes PN. Modeling
sensorimotor learning with linear dynamical systems. Neural Comput.
2006;18:760–793. doi: 10.1162/089976606775774651. [DOI] [PMC free article] [PubMed] [Google Scholar]
27.Zarahn E, Weston GD, Liang J, et al.
Explaining savings for visuomotor adaptation: linear time-invariant
state-space models are not sufficient. J Neurophysiol.
2008;100:2537–2548. doi: 10.1152/jn.90529.2008. [DOI] [PMC free article] [PubMed] [Google Scholar]
28.Izawa J, Shadmehr R. Learning from
sensory and reward prediction errors during motor adaptation. PLoS
Comput Biol. 2011;7:e1002012. doi: 10.1371/journal.pcbi.1002012. [DOI] [PMC free article] [PubMed] [Google Scholar]
29.Shabbott BA, Sainburg RL. Learning a
visuomotor rotation: simultaneous visual and proprioceptive information
is crucial for visuomotor remapping. Exp Brain Res. 2010;203:75–87.
doi: 10.1007/s00221-010-2209-3. [DOI] [PMC free article] [PubMed] [Google Scholar]
30.Hinder MR, Tresilian JR, Riek S,
Carson RG. The contribution of visual feedback to visuomotor adaptation:
how much and when? Brain Res. 2008;1197:123–134. doi:
10.1016/j.brainres.2007.12.067. [DOI] [PubMed] [Google Scholar]
31.Hinder MR, Woolley DG, Tresilian JR,
et al. The efficacy of colour cues in facilitating adaptation to
opposing visuomotor rotations. Exp Brain Res. 2008;191:143–155. doi:
10.1007/s00221-008-1513-7. [DOI] [PubMed] [Google Scholar]
32.Huang VS, Haith A, Mazzoni P,
Krakauer JW. Rethinking motor learning and savings in adaptation
paradigms: model-free memory for successful actions combines with
internal models. Neuron. 2011;70:787–801. doi:
10.1016/j.neuron.2011.04.012. [DOI] [PMC free article] [PubMed] [Google Scholar]
33.Verstynen T, Sabes PN. How each
movement changes the next: an experimental and theoretical study of fast
adaptive priors in reaching. J Neurosci. 2011;31:10050–10059. doi:
10.1523/JNEUROSCI.6525-10.2011. [DOI] [PMC free article] [PubMed] [Google Scholar]
34.Diedrichsen J, White O, Newman D,
Lally N. Use-dependent and error-based learning of motor behaviors. J
Neurosci. 2010;30:5159–5166. doi: 10.1523/JNEUROSCI.5406-09.2010. [DOI] [PMC free article] [PubMed] [Google Scholar]
35.Smith MA, Shadmehr R. Intact ability
to learn internal models of arm dynamics in Huntington’s disease but
not cerebellar degeneration. J Neurophysiol. 2005;93:2809–2821. doi:
10.1152/jn.00943.2004. [DOI] [PubMed] [Google Scholar]
36.Rabe K, et al. Adaptation to
visuomotor rotation and force field perturbation is correlated to
different brain areas in patients with cerebellar degeneration. J
Neurophysiol. 2009;101:1961–1971. doi: 10.1152/jn.91069.2008. [DOI] [PubMed] [Google Scholar]
37.Criscimagna-Hemminger SE, Bastian
AJ, Shadmehr R. Size of error affects cerebellar contributions to motor
learning. J Neurophysiol. 2010;103:2275–2284. doi:
10.1152/jn.00822.2009. [DOI] [PMC free article] [PubMed] [Google Scholar]
38.Lang CE, Bastian AJ. Cerebellar
damage impairs automaticity of a recently practiced movement. J
Neurophysiol. 2002;87:1336–1347. doi: 10.1152/jn.00368.2001. [DOI] [PubMed] [Google Scholar]
39.Taylor JA, Klemfuss NM, Ivry RB. An
explicit strategy prevails when the cerebellum fails to compute movement
errors. Cerebellum. 2010;9:580–586. doi: 10.1007/s12311-010-0201-x. [DOI] [PMC free article] [PubMed] [Google Scholar]
40.Martin TA, Keating JG, Goodkin HP,
et al. Throwing while looking through prisms. I. Focal olivocerebellar
lesions impair adaptation. Brain. 1996;119(Pt 4):1183–1198. doi:
10.1093/brain/119.4.1183. [DOI] [PubMed] [Google Scholar]
41.Ito M. Control of mental activities
by internal models in the cerebellum. Nat Rev Neurosci. 2008;9:304–313.
doi: 10.1038/nrn2332. [DOI] [PubMed] [Google Scholar]
42.Strick PL, Dum RP, Fiez JA.
Cerebellum and nonmotor function. Ann Rev Neurosci. 2009;32:413–434.
doi: 10.1146/annurev.neuro.31.060407.125606. [DOI] [PubMed] [Google Scholar]
43.Pascual-Leone A, Wassermann EM,
Grafman J, Hallett M. The role of the dorsolateral prefrontal cortex in
implicit procedural learning. Exp Brain Res. 1996;107:479–485. doi:
10.1007/BF00230427. [DOI] [PubMed] [Google Scholar]
44.Slachevsky A, et al. Preserved
adjustment but impaired awareness in a sensory-motor conflict following
pre-frontal lesions. J Cogn Neurosci. 2001;13:332–340. doi:
10.1162/08989290151137386. [DOI] [PubMed] [Google Scholar]
45.Slachevsky A, et al. The prefrontal
cortex and conscious monitoring of action: an experimental study.
Neuropsychologia. 2003;41:655–665. doi: 10.1016/s0028-3932(02)00225-7. [DOI] [PubMed] [Google Scholar]
46.Ivry RB, Schlerf J, Xu J, et al.
Soc Neurosci Abstr. Washington, DC: 2008. Strategic and recalibration
processes during visuomotor rotation in cerebellar ataxia. [Google Scholar]
47.Fernandez-Ruiz J, Hall C, Vergara P,
Diiaz R. Prism adaptation in normal aging: slower adaptation rate and
larger aftereffect. Brain Res Cogn Brain Res. 2000;9:223–226. doi:
10.1016/s0926-6410(99)00057-9. [DOI] [PubMed] [Google Scholar]
48.Heuer H, Hegele M. Adaptation to
visuomotor rotations in younger and older adults. Psychol Aging.
2008;23:190–202. doi: 10.1037/0882-7974.23.1.190. [DOI] [PubMed] [Google Scholar]
49.Kounios J, Beeman M. The Aha! Moment: the cognitive neuroscience of insight. Curr Dir Psychol Sci. 2009;18:210–216. [Google Scholar]
50.Bowden EM, Jung-Beeman M. Aha!
Insight experience correlates with solution activation in the right
hemisphere. Psychon Bull Rev. 2003;10:730–737. doi: 10.3758/bf03196539. [DOI] [PubMed] [Google Scholar]
51.Smith RW, Kounios J. Sudden insight:
all-or-none processing revealed by speed-accuracy decomposition. J Exp
Psychol Learn Mem Cogn. 1996;22:1443–1462. doi:
10.1037//0278-7393.22.6.1443. [DOI] [PubMed] [Google Scholar]