Жесты рук могут не только дополнять смысл отдельных слов, но и участвовать в обработке грамматики. В эксперименте с носителями турецкого языка характерное движение рукой помогло мозгу заранее подготовиться к отрицанию еще до появления соответствующего грамматического показателя. Почему отрицательные предложения требуют дополнительных усилий и можно ли считать жесты частью грамматики — в материале «Известий».
Как жесты помогают понимать речь
Во время разговора человек воспринимает не только слова. На понимание сказанного также влияют интонация, выражение лица, направление взгляда и движения рук. Эти сигналы могут дополнять речь, подчеркивать отдельные элементы высказывания или заранее подсказывать, что собирается сказать собеседник.
Предыдущие исследования показывали, что жесты облегчают понимание смысла отдельных слов. Например, характерное движение рукой может помочь слушателю быстрее распознать глагол «пить» или понять, какой предмет имеет в виду говорящий.
Однако оставалось неясно, способны ли движения рук влиять не только на смысл слов, но и на грамматическую обработку предложения. Авторы новой работы решили проверить это на примере отрицания — одной из базовых операций человеческого языка.
Почему отрицание сложнее обрабатывать
Утвердительное предложение сообщает о том, что произошло или существует. Отрицательная конструкция требует дополнительной операции: слушателю необходимо сформировать представление о событии, а затем понять, что оно не состоялось.
Например, при восприятии фразы «Ферит вскопал сад» мозг обрабатывает описанное действие. В предложении «Ферит не вскопал сад» ему необходимо дополнительно учесть отрицание и скорректировать первоначальную модель ситуации.
«Понимание отрицания требует значительных когнитивных усилий», — объяснила первый автор исследования Хатидже Зора.
При этом отрицательные конструкции постоянно используются в повседневной речи и относятся к числу первых языковых явлений, которые осваивают дети. По словам исследовательницы, ученые пока не до конца понимают, как мозг объединяет слова, интонацию и жесты при обработке таких предложений.
Почему ученые выбрали турецкий язык
Положение отрицания в предложении различается в зависимости от языка. В русском и английском языках отрицательная частица обычно появляется до глагола: «не спал» или did not sleep. Благодаря этому слушатель достаточно рано получает информацию о том, что предложение будет отрицательным.
Турецкий язык устроен иначе. Сказуемое обычно находится в конце предложения, а отрицание выражается при помощи суффикса -mA, который присоединяется после основы глагола. Поэтому слушателю приходится дольше ждать грамматического сигнала, подтверждающего отрицание.
Однако отрицание в турецком языке может передаваться не только морфологически. Перед отрицательным суффиксом меняется ударение, а говорящий может совершить распространенный жест — отвести или развернуть кисть руки назад. Такое движение нередко появляется еще во время произнесения основы глагола, то есть раньше, чем слушатель услышит отрицательный суффикс.
Это позволило ученым проверить, использует ли мозг ранние зрительные и интонационные сигналы для прогнозирования последующей грамматической конструкции.
Как проходил эксперимент
В эксперименте участвовали 24 носителя турецкого языка. Они слушали отрицательные предложения, одновременно наблюдая за цифровым персонажем. Использование аватара позволило исследователям точно контролировать движения рук, выражение лица и время появления каждого сигнала.
Предложения предъявляли в четырех вариантах. В одних случаях отрицанию предшествовал только жест, в других — изменение ударения. Также использовались комбинации, в которых присутствовали оба сигнала или не было ни одного из них.
Участники могли слышать предложение, соответствующее фразе «Ферит не вскопал сад». При этом в разных условиях аватар сопровождал глагол отрицательным жестом, выделял его интонационно, объединял оба сигнала или произносил предложение без дополнительных подсказок.
Активность мозга регистрировали с помощью электроэнцефалографии. Этот метод позволяет фиксировать небольшие изменения электрической активности и определять, как быстро мозг реагирует на отдельные элементы речи и изображения.
Что показала активность мозга
Особое внимание исследователи уделили компонентам мозгового ответа N100 и N400. Они возникают после предъявления определенного сигнала, но отражают разные этапы его обработки.
N100 появляется примерно через 100 мс после события и связан с ранним восприятием заметных зрительных или слуховых изменений. В эксперименте отрицательный жест вызывал выраженную реакцию N100. По мнению авторов, это объясняется тем, что движение руки само по себе привлекало внимание участников.
Более важные результаты были получены при анализе N400. Этот компонент обычно связывают с обработкой значения, ожиданиями человека и встраиванием новой информации в уже сформированный контекст. Чем неожиданнее или сложнее интегрировать элемент высказывания, тем заметнее может быть ответ N400.
Когда отрицательному суффиксу предшествовал соответствующий жест, амплитуда N400 уменьшалась. Исследователи интерпретировали это как признак того, что мозг заранее получил информацию об отрицании и поэтому затратил меньше усилий на обработку грамматического показателя. Таким образом, движение руки не просто повторяло уже сказанное, а позволяло предугадать структуру предложения до того, как отрицание было полностью выражено словами.
Почему одной интонации оказалось недостаточно
Изменение ударения также могло указывать на приближающееся отрицание. Однако само по себе оно не обеспечило такого же облегчения обработки, как жест.
Интонационная подсказка усиливала уменьшение N400 только тогда, когда одновременно присутствовало движение руки. Иными словами, мозг наиболее эффективно использовал звуковой сигнал в сочетании со зрительным.
Исследователи предполагают, что жест оказался более заметным и надежным указателем отрицания. Интонационные изменения могут быть менее очевидными, особенно если слушателю необходимо одновременно следить за смыслом слов и структурой предложения.
Руководитель исследования в отделе мультимодального языка Института психолингвистики Общества Макса Планка Аслу Озюрек отметила, что в языках, где отрицание появляется после основы глагола, жесты и просодия могут предоставлять мозгу необходимую информацию заранее.
«Жесты могут быть эффективнее в одних языках, чем в других», — подчеркнула она.
Можно ли считать жесты частью грамматики
Обычно грамматику связывают прежде всего со словами, окончаниями, суффиксами и порядком элементов в предложении. Новое исследование показывает, что при живом общении мозг может обрабатывать грамматическую информацию сразу по нескольким каналам.
Жест в этом случае не просто иллюстрирует смысл высказывания. Он предсказывает конкретную грамматическую операцию — отрицание — и изменяет реакцию мозга на последующий морфологический показатель.
По словам авторов, это первое нейрокогнитивное свидетельство того, что жесты способны влиять на обработку грамматики, а не только на понимание значения отдельных слов. Результаты поддерживают представление о языке как о мультимодальной системе, в которой речь, интонация, мимика и движения тела обрабатываются совместно.
«Жесты можно считать частью грамматики», — заключила Зора.
Однако эту формулировку следует понимать как научную интерпретацию полученных данных, а не как доказательство того, что любое движение руки является грамматическим знаком. Значение имеет только жест, который понятен носителям конкретного языка и устойчиво связан с определенной языковой конструкцией.
Работает ли этот механизм в других языках
Пока результаты относятся только к турецкому языку и одному виду отрицательного жеста. В языках, где отрицательная частица появляется до глагола, движения рук могут давать мозгу меньше дополнительной информации, поскольку отрицание и без того становится известно достаточно рано.
Различаются и сами жесты. В одной культуре отрицание выражают движением кисти, в другой — покачиванием головы, поднятием бровей или сочетанием нескольких сигналов. Один и тот же жест в разных странах также может иметь неодинаковое значение.
Авторы намерены выяснить, облегчают ли жесты и интонация обработку отрицания в языках с другой грамматической структурой. Это позволит установить, идет ли речь об универсальном механизме или о способе, который особенно важен для языков с поздним обозначением отрицания.
Где могут пригодиться результаты
Исследование помогает точнее понять, как человек воспринимает устную речь в реальных условиях. В обычном разговоре слова редко существуют отдельно от мимики, взгляда и движений тела, однако многие модели языка традиционно рассматривают преимущественно звуковой или письменный сигнал.
В перспективе результаты могут учитываться при изучении иностранного языка, разработке цифровых преподавателей, разговорных систем и виртуальных персонажей. Если жесты действительно заранее сообщают грамматическую информацию, их правильное использование может сделать искусственную речь более понятной и естественной.
Работа также может представлять интерес для специалистов, изучающих нарушения речи и ее восприятия. Однако авторы не проверяли методы обучения или реабилитации, поэтому говорить о практической эффективности таких подходов пока рано.