Найти тему
DigEd

Новая математическая Cтруктура Калифорнии не складывается

Оглавление
Предложенную Калифорнией новую математическую Структуру ждет дорога с завалами.
Предложенную Калифорнией новую математическую Структуру ждет дорога с завалами.

Это приведет к отставанию шестиклассников Золотого штата от остального мира на несколько лет и может в конечном итоге исказить образование и в остальной части США.

-2

Автор Том Лавлесс

Предложенная в Калифорнии структура учебной программы по математике вызвала ожесточенные дебаты, вызвав возрождение математических войн 1990-х годов и привлекая внимание национальных средств массовой информации. Ранние проекты новой структуры столкнулись с огненной критикой, противники которой обвиняли в том, что в руководящих принципах приносится в жертву ускоренное обучение для отличников в ошибочной попытке обеспечить равенство.

Новая структура, впервые выпущенная для общественного обсуждения в 2021 году, призвала всех учащихся проходить одни и те же математические курсы до 10-го класса, что является политикой «отклонения», которая фактически лишает восьмиклассников возможности изучать алгебру. В петиции, подписанной почти 6000 лидерами STEM, утверждалось, что эта структура «окажет значительное негативное влияние на одаренных и продвинутых учащихся». В открытом письме, организованном Независимым институтом, с более чем 1200 подписями, отвергающем концепции социальной справедливости, система обвиняется в «политизации математики K-12 потенциально катастрофическим образом», пытаясь «построить безматематический дивный новый мир на основа нездоровой идеологии».

Примерно раз в восемь лет штат Калифорния созывает группу преподавателей математики для пересмотра структуры, которая рекомендует, как математика будет преподаваться в государственных школах. Текущее предложение призывает к более концептуальному подходу к обучению математике, уменьшая акцент на запоминании и делая акцент на решении проблем и сотрудничестве. После нескольких задержек структура подвергается дополнительным изменениям в государственном департаменте образования и должна быть рассмотрена государственным советом по образованию для утверждения где-то в 2023 году.

Почему кого-то за пределами Калифорнии это должно волновать? Штат с почти шестью миллионами учащихся государственных школ представляет собой крупнейший рынок учебников в Соединенных Штатах. Издатели, вероятно, будут обслуживать этот рынок, выпуская учебные материалы в соответствии с предпочтениями государства. Калифорния была эпицентром дебатов по математической программе K-12 в 1990-х годах, конфликта, который в конечном итоге распространился от побережья до побережья и по всему миру. Краткая история поможет подготовить почву.

Исторический контекст

Стандарты определяют, что учащиеся должны изучить — знания, навыки и концепции, которыми должен овладеть каждый учащийся на данном уровне обучения. Фреймворки (Структуры) обеспечивают руководство по соблюдению стандартов, включая рекомендации по учебной программе, обучению и оцениванию. Битва за Структура штата Калифорния 1992 года, документ, которым восхищаются реформаторы математики по всей стране, началась медленно, тлела в течение нескольких лет, а затем к концу десятилетия переросла в полномасштабный конфликт, захвативший СМИ. Эта битва закончилась в 1997 году, когда противники реформаторов математики, которых часто называют математическими традиционалистами, убедили государственных чиновников принять математические стандарты, отвергающие основанную на исследованиях конструктивистскую философию существующей политики штата в математическом образовании.

Традиционалисты представляли собой уникальную коалицию родителей и профессиональных математиков — ученых на математических факультетах университетов, а не учебных заведений, — которые были организованы с помощью нового инструмента политической защиты: Интернета.

Традиционалистские стандарты просуществовали около десяти лет. К концу нулевых стандарты были запятнаны их ассоциацией с непопулярным Законом «Ни одного отстающего ребенка», который требовал, чтобы школы к 2014 году показывали всех учащихся, получивших «профессиональный» уровень на государственных тестах, иначе им грозят последствия. Было ясно, что практически каждая школа в стране будет признана неудачной, программа «Ни одного отстающего ребенка» резко схлопнулась в угоду общественности, и политикам нужно было избрести что-то новое. И здесь возникли Common Core State Standards (Общие Основные государственные стандарты).

Авторы Common Core хотели избежать повторения математических войн 1990-х, а это означало компромисс. Реформаторы математики были удовлетворены рекомендацией стандартов о том, что процедурам (вычислениям), концептуальному пониманию и решению проблем уделяется «равное внимание». Традиционалистов удовлетворило требование Common Core, согласно которому учащиеся должны были освоить основные математические факты для сложения и умножения, а также стандартные алгоритмы (пошаговые вычислительные процедуры) для всех четырех операций — сложения, вычитания, умножения и деления.

Калифорния является штатом Common Core и, по большей части, избежала политической негативной реакции, которую многие штаты испытали через несколько лет после повсеместного принятия стандартов. Первая Структура, ориентированная на Common Core, опубликованная в 2013 году, не вызвала споров; однако компромиссы, отраженные в тщательной формулировке некоторых целей обучения, привели к разгадке, когда структура была пересмотрена и представлена ​​для общественного обсуждения в 2021 году.

В отличие от большинства существующих комментариев к пересмотренной структуре, мой анализ здесь сосредоточен на начальных классах и на том, как эта структура обращается к двум аспектам математики: основным фактам и стандартным алгоритмам. Эти две темы являются давними источниками разногласий между математическими реформаторами и традиционалистами. Они были горячими точками математических войн 1990-х годов, и они знакомы большинству родителей по математике на кухонном столе, которая приходит домой из школы. В случае калифорнийской системы эти две темы иллюстрируют, как реформаторы отклонились от стандартов содержания штата, проигнорировали лучшие исследования в области преподавания и обучения и полагались на сомнительные исследования для обоснования подхода системы.

Джо Боулер — профессор математического образования в Стэнфорде и член писательского комитета California Math Framework.
Джо Боулер — профессор математического образования в Стэнфорде и член писательского комитета California Math Framework.

Факты сложения и умножения

Беглое владение математикой обычно относится к способности учащихся быстро и точно выполнять вычисления. Математические стандарты Common Core требуют, чтобы учащиеся знали факты сложения и умножения «по памяти», и Калифорнийские математические стандарты требуют того же. Задача познания основных фактов вычитания и деления облегчается тем, что эти операции являются обратными, соответственно, сложению и умножению. Если известно, что 5 + 6 = 11, то логически следует, что 11 – 6 = 5; а если 8 × 9 = 72, то наверняка 72 ÷ 9 = 8.

Когнитивные психологи уже давно указывали на ценность автоматизма с числовыми фактами — способности немедленно извлекать факты из долговременной памяти, даже не думая о них. Рабочая память ограничена; долговременная память обширна. Таким образом, математические факты относятся к математике так же, как акустика к чтению. Если эти факты изучены и сохранены в долговременной памяти, их можно легко извлечь, когда учащийся решает более сложные когнитивные задачи. В недавнем интервью Сал Хан, основатель Академии Хана, заметил: «Несколько месяцев назад я посетил школу в Бронксе, и они работали над экспоненциальными свойствами, такими как: два в кубе в седьмой степени. Итак, вы умножаете показатели степени, и это будет два в 21-й степени. Но дети доставали калькулятор, чтобы вычислить три раза по семь». Несмотря на то, что они знали, как решать само упражнение на показатель степени, «разрыв в беглости вычислений увеличивал когнитивную нагрузку, отнимал больше времени и усложнял задачу».

В предложенной Калифорнией схеме слова «запоминать» и «запоминание» упоминаются 27 раз, но все в негативном или преуменьшающем значении. Например, в схеме говорится: «В прошлом беглость вычислений иногда приравнивалась к скорости, что может объяснять распространенное, но контрпродуктивное использование временных тестов для отработки фактов. . . . Беглость — это больше, чем запоминание фактов или процедур, и больше, чем понимание и способность использовать одну процедуру в данной ситуации». (Все цитаты Структуры здесь взяты из самой последней общедоступной версии, чернового варианта, представленного для второй полевой проверки, 60-дневный период общественного обсуждения в 2022 году.)

Интеллектуальное происхождение фреймворка можно найти на веб-сайте Youcubed, математического исследовательского центра Стэнфордского университета, которым руководит Джо Боалер, профессор математического образования в Стэнфорде и член комитета по написанию фреймворка. Youcubed цитируется в Структуре 28 раз, включая эссе Боулера на этом сайте «Беглое владение без страха: данные исследований о лучших способах изучения математических фактов». Система цитирует Боулера еще 48 раз.

Попытка фреймворка отделить беглость от скорости (и от извлечения из памяти) приводит к искажению государственных математических стандартов. «Приобретение беглости с фактами умножения начинается в третьем классе, а развитие продолжается в четвертом и пятом классах», — говорится в Структуре. Позже в нем говорится: «Достижение беглости с умножением и делением в пределах 100 представляет собой основную часть работы учащихся старших классов».

Оба утверждения неточны. Государственный стандарт для 3-го класса заключается в том, что учащиеся будут знать факты умножения «по памяти», а не то, что они начнут бегло работать и продолжат развитие в более поздних классах. После 3-го класса в стандартах снова не упоминаются факты умножения. Например, в 4-м классе стандарты требуют свободного владения многозначным умножением, условие, встроенное в «понимание разрядного значения до 1 000 000». Ученики, которым не хватает автоматизма с основными фактами умножения, будут остановлены. Родители, которые обеспокоены тем, что их четвероклассники не знают таблицу умножения, не говоря уже о том, как умножать многозначные числа, будут направлены в систему, чтобы оправдать детей, отстающих от ожиданий стандартов.

После выпуска Common Core авторы математических стандартов опубликовали документы «Progressions», в которых стандарты конкретизировались более подробно. В предлагаемой структуре одобрительно отмечается: «Документы Progressions for the Common Core State Standards представляют собой богатый ресурс; они (McCallum, Daro, and Zimba, 2013) описывают, как учащиеся развивают математическое понимание от детского сада до двенадцатого класса». Но Progressions противоречат структуре по вопросу беглости. Они заявляют: "Слово "беглый" используется в Стандартах для обозначения "быстрого и точного". Свободное владение в каждом классе включает в себя простое знание некоторых ответов, знание некоторых ответов по образцам (например, "прибавление 0 дает то же число"), и зная некоторые ответы на основе использования стратегий».

Учащиеся продвигаются к свободному владению языком в ходе трехэтапного процесса: использовать стратегии, применять шаблоны и знать по памяти. Учащиеся, достигшие автоматизма с основными фактами, достигли верхней ступени и просто знают их, но некоторым учащимся может потребоваться больше времени, чтобы запомнить факты. По мере того, как поиск берет верх, вероятность ошибки снижается. Ученики, которые знают, что 7 × 7 = 49, но должны «подсчитывать» 7, чтобы подтвердить, что 8 × 7 = 56, подвержены ошибкам, к которым невосприимчивы ученики, которые «просто знают», что 7 × 8 = 56. С точки зрения скорости аналогичный процесс при чтении — декодирование текста. Ученики, которые «просто знают» определенные слова, потому что они часто их читали, читают более бегло, чем ученики, которые должны делать паузы, чтобы произнести эти слова фонетически. Это перекликается с мнением Сал Хана об учениках, которые знают, как работать с показателями степени, возведенными в другую степень, но все еще нуждаются в калькуляторе для простых фактов умножения.

Сал Хан, основатель Академии Хана, заметил, что «разрыв в беглости вычислений увеличивал когнитивную нагрузку, отнимал больше времени и усложнял задачу».
Сал Хан, основатель Академии Хана, заметил, что «разрыв в беглости вычислений увеличивал когнитивную нагрузку, отнимал больше времени и усложнял задачу».

Стандартные алгоритмы

Алгоритмы — это методы решения многозначных вычислений. Стандартные алгоритмы — это те, которые обычно используются. Изучение стандартных алгоритмов сложения, вычитания, умножения и деления позволяет учащимся расширить знания однозначных чисел до многозначных вычислений, помня при этом о разрядности и возможной необходимости перегруппировки.

Барри Гарелик, учитель математики и критик Common Core, опубликовал серию сообщений в блоге о стандартах и спросил: «Можно ли научить только стандартному алгоритму и соответствовать стандартам Common Core State?» Джейсон Зимба, один из трех авторов математических стандартов Common Core, ответил:

При условии, что стандарты в целом соблюдаются, я бы сказал, что ответ на этот вопрос положительный. Основная причина этого в том, что стандартный алгоритм «основан на позиционном значении [и] свойствах операций». Это означает, что он соответствует требованиям. Короче говоря, Common Core требует стандартного алгоритма; дополнительные алгоритмы не называются и не требуются.

Зимба предоставляет таблицу, показывающую, как можно было бы обучать только стандартным алгоритмам сложения и вычитания, представленную не как рекомендацию, а как «один из способов, которым это можно сделать». Подход Зимбы начинается в 1-м классе, когда учащиеся — после получения инструкций по разрядности — изучают правильный способ выстраивания чисел в ряд по вертикали. «Что бы вы ни думали о деталях в таблице, я полагаю, что если высший стандарт в 4-м классе реально соблюдается, то, скорее всего, вы захотите ввести стандартный алгоритм довольно рано в последовательность сложения и вычитания».

Обратите внимание на термин «высший стандарт». Это означает конечную точку развития. Структура, однако, интерпретирует 4-й класс как уровень первого знакомства, а не кульминации, и распространяет это неверное толкование на все четыре операции с целыми числами. «Прогресс обучения стандартным алгоритмам начинается со стандартного алгоритма сложения и вычитания в четвертом классе; умножение изучается в пятом классе; введение стандартного алгоритма деления целых чисел происходит в шестом классе», — говорится в фреймворке.

Благодаря этому совету калифорнийские шестиклассники на годы отстают от остального мира в изучении алгоритмов. В Сингапуре, например, деление целых чисел до 10 000 преподается в 3-м классе. Обоснование задержки, указанное в схеме, звучит так: «Учащиеся, которые используют изобретенные стратегии до изучения стандартных алгоритмов, более полно понимают концепции десятичной системы счисления и лучше способны применять свое понимание в новых ситуациях, чем студенты, которые сначала изучают стандартные алгоритмы (Carpenter et al. , 1997)».

Однако исследование Карпентера 1997 года является плохой ссылкой для утверждения концепции. Авторы этого исследования заявляют: «Обучение не было в центре внимания этого исследования, и исследование очень мало говорит о том, как студенты на самом деле научились использовать изобретенные стратегии». Кроме того, выборка исследования не была выбрана с научной точки зрения, чтобы быть репрезентативной, и авторы предупреждают: «Характеристика моделей развития, наблюдаемых в этом исследовании, не может быть распространена на всех учащихся».

Что касается упомянутых выше документов Progressions, то они не запрещают изучение стандартных алгоритмов до уровня «кульминирующего ожидания». В соответствии с подходом Джейсона Зимбы формы стандартных алгоритмов сложения и вычитания представлены как темы 2-го класса, за два года до того, как учащиеся должны продемонстрировать беглость речи.

Избирательное использование доказательств выходит за рамки приведенных выше примеров, как видно из исследований, которые цитируются — и не цитируются — в рамках.

Исследование, цитируемое Стандартом

1 июня 2021 года Джо Боулер опубликовала твит, в котором утверждала: «Этот 4-недельный лагерь повышает успеваемость учащихся на 2,8 года». Твит содержал информацию о двухдневном семинаре в Стэнфорде для педагогов, заинтересованных в проведении летнего лагеря, вдохновленного Youcubed. Веб-сайт Youcubed рекламирует летний лагерь с тем же заявлением о дополнительных годах обучения.

Откуда взялись 2,8 года? Первый математический лагерь Youcubed был проведен в кампусе Стэнфорда в 2015 году, в нем приняли участие 83 ученика 6-го и 7-го классов. В течение 18 дней студенты проводили утро, решая математические задачи, а после обеда путешествовали по кампусу небольшими группами, отправляясь на поиски мусора и фотографируя. Студенты также получили инструкции, ориентированные на их математический склад ума, и узнали, что не существует таких вещей, как «математики» и «нематематики», что быстрота в математике не важна, и что совершать ошибки и бороться, наряду с визуальным мышлением и связи между математическими представлениями, способствуют росту мозга. Большие идеи, неограниченные задачи, совместное решение проблем, уроки по мышлению и обучение, основанное на запросах, — все это лежит в основе структуры. Лагерь предлагает тестовый запуск предложенной структуры, в документе утверждается, что лагеря «значительно повышают успеваемость за короткий период времени».

Заявление о росте основано на оценке, проведенной исследователями в первый и последний дни пребывания в лагере. Тест состоял из четырех открытых задач, называемых «задачами», которые оценивались по рубрике, причем как задачи, так и рубрика были созданы Службой исследований математической оценки или MARS. Студентам было дано четыре задания в первый день и столько же в последний день лагеря. Величина эффекта 0,91 была рассчитана путем деления разницы между средними показателями группы до и после теста на стандартное отклонение до теста. Как этот размер эффекта был преобразован в годы обучения, не объясняется, но исследователи обычно делают это на основе типичных темпов роста достижений среди учащихся, сдающих стандартные математические тесты в последующие годы.

В 2019 году программа летнего лагеря Youcubed стала национальной. Внутреннее исследование было проведено с участием 10 школьных округов в пяти штатах, где лагеря в общей сложности обслуживали около 900 учащихся и длились от 10 до 28 дней. Исследование пришло к выводу: «Средний показатель успеваемости для участвующих студентов на всех сайтах составил 0,52 единицы стандартного отклонения (SD), что эквивалентно 1,6 годам роста в математике».

Давайте рассмотрим эти заявленные улучшения в контексте последних результатов NAEP по математике. Результаты 2022 года вызвали обеспокоенность по всей стране, поскольку баллы 4-классников упали до 236 баллов по шкале с 241 балла в 2019 году, что составляет снижение на 0,16 стандартного отклонения. Баллы восьмиклассников снизились с 282 до 274, что эквивалентно 0,21 стандартному отклонению. Заголовки провозглашали, что два десятилетия обучения были уничтожены двумя годами пандемии. Согласно отчету McKinsey, оценки NAEP могут не вернуться к уровню 2019 года до 2036 года.

Если верить достижениям Youcubed, все потери в обучении, вызванные пандемией, могут быть восстановлены и достигнуты дополнительные успехи за две-четыре недели летней школы.

Есть несколько причин сомневаться в выводах исследования, наиболее заметной из которых является отсутствие группы сравнения для оценки эффектов программы, измеряемых результатами MARS. Школьные округа набирали учеников для лагерей. Нет данных о количестве подошедших студентов, количестве отказавшихся и количестве принятых, но не явившихся. Последняя группа участвующих студентов включает лечебную группу исследования. Заявление о том, что эти учащиеся продвинулись в математике на 1,6 года, основано исключительно на изменении результатов учащихся по задачам MARS между первым и последним днем программы.

Это особенно проблематично, потому что исследователи давали студентам одни и те же четыре задания MARS до и после программы. Использование одного и того же инструмента для тестирования и повторного тестирования студентов в течение четырех недель может привести к завышению оценок после лечения, особенно если студенты работали над аналогичными проблемами во время лагеря. Данных, подтверждающих пригодность задач МАРС по техническому качеству для использования при оценке эффекта летнего лагеря, не приводится. Авторы также не демонстрируют, что задачи отражают весь спектр математического содержания, которое учащиеся должны освоить, что необходимо для обоснования отчета об успеваемости учащихся с точки зрения количества лет обучения. Даже уровень заданий неизвестен, хотя участники лагеря охватывают классы с 5 по 7, а MARS предлагает три уровня заданий (новичок, ученик и эксперт).

Проблемы исследования распространяются на его трактовку убыли из лечебной выборки. Сообщается, что в одном из участвующих школьных округов (№ 2) зачислено 47 учеников, но лагерь выдает 234 результата тестов — загадка, которая остается необъяснимой. Когда этот округ опущен, в остальных девяти округах отсутствуют оценки до и после тестирования примерно одной трети зачисленных учащихся, которые предположительно отсутствовали либо в первый, либо в последний день. В исследовании сообщается о посещаемости в каждом округе как процент учащихся, которые посещали 75 процентов дней или более, при этом средний показатель округа составляет 84 процента. Четыре округа сообщили, что менее 70 процентов учащихся достигли этого порога посещаемости. Традиционным показателем посещаемости в течение учебного года является то, что учащиеся, пропускающие 10 процентов дней, «хронически отсутствуют». По этому стандарту посещаемость лагерей кажется в лучшем случае неравномерной, а в четырех из 10 лагерей — довольно плохой.

Это серьезные недостатки. Точно так же, как лагеря служат прототипами идей фреймворка о хорошей учебной программе и обучении, исследования летних лагерей Youcubed иллюстрируют то, что фреймворк считает убедительным исследованием. Исследования не соответствуют минимальным стандартам причинно-следственных доказательств.

Брайан Конрад, профессор математики в Стэнфордском университете, проанализировал цитаты фреймворка и задокументировал множество случаев искажения первоначальных результатов исследований.
Брайан Конрад, профессор математики в Стэнфордском университете, проанализировал цитаты фреймворка и задокументировал множество случаев искажения первоначальных результатов исследований.

Исследования, не включенные в Структуру

Также полезно ознакомиться с исследованиями, не включенными в Структуру штата Калифорния.

Информационный центр What Works, расположенный в федеральном Институте педагогических наук, публикует практические руководства для преподавателей. Руководства призваны предоставить краткие сводки высококачественных исследований по различным темам. Группа экспертов проводит поиск исследовательской литературы и проверяет качество исследований в соответствии со строгими протоколами. Предпочтение отдается экспериментальным и квазиэкспериментальным исследованиям, поскольку они позволяют оценить причинно-следственные связи. Группа обобщает результаты, связывая каждую рекомендацию с подтверждающими исследованиями. В практических руководствах представлены лучшие научно обоснованные данные о причинно-следственных связях в преподавании и обучении.

Сколько исследований, упомянутых в практических руководствах, также цитируются в рамках? Чтобы выяснить это, я провел поиск ссылок на исследования, упомянутые в четырех практических руководствах, наиболее важных для обучения математике K–12. Вот результаты:

(2021) 0 из 43 исследований

(2015 г., пересмотрено в 2019 г.) 0 из 12 исследований

(2012) 0 из 37 иhttps://ies.ed.gov/ncee/wwc/PracticeGuide/15сследований

  • Инструкция по разработке эффективных дробей для детского сада до 8-го класса

(2010) 1 из 22 исследований

За исключением одного исследования, включающего обучение маленьких детей числовому ряду с помощью игр, эта структура игнорирует лучшие исследования по математике K–12. Как такое могло произойти?

Одна мощная подсказка: ключевые рекомендации в практических руководствах прямо опровергают структуру. Например, для повышения беглости речи рекомендуются занятия с основными фактами, рассчитанные на время, а в руководстве «Борющиеся учащиеся» говорится, что «группа экспертов присвоила этой рекомендации высокий уровень доказательств [курсив оригинала] на основе 27 исследований эффективности занятий для поддерживать автоматический поиск основных фактов и плавное выполнение других задач, связанных с решением сложных проблем». Призывы к четким или систематическим инструкциям в руководствах противоречат методам исследования, одобренным в рамках. Рабочие примеры, в которых учителя шаг за шагом ведут учащихся от проблемы к решению, поощряются в руководствах, но скептически воспринимаются Структурой, не допускающей продуктивной борьбы.

Впереди дорога с завалами

Предлагаемая Калифорнийская математическая структура не только игнорирует ключевые ожидания от математических стандартов штата, но также искажает или переопределяет их, чтобы служить программе реформ. Стандарты требуют, чтобы учащиеся знали «наизусть» основные факты сложения к концу 2-го класса и факты умножения к концу 3-го класса. Но структура относится к развитию беглости с основными фактами в качестве основной темы с 4-го по 6-й классы. Беглость переопределяется, чтобы игнорировать скорость. Обучение стандартным алгоритмам задерживается из-за интерпретации оценок за кульминационные стандарты как оценок, в которых стандартные алгоритмы встречаются впервые. Калифорнийских школьников будут обучать стандартному алгоритму деления на годы позже, чем в остальном мире.

Авторы фреймворка утверждают, что основывают свои рекомендации на исследованиях, но неясно, как — и даже если — они проводили поиск литературы или какие критерии они использовали для выявления высококачественных исследований. Документ служит манифестом математической реформы K-12, цитируя источники, которые поддерживают его аргументы, и игнорируя те, которые этого не делают, даже если пропущенное исследование включает в себя лучшую стипендию в области преподавания и изучения математики. Брайан Конрад, профессор математики в Стэнфордском университете, проанализировал цитаты фреймворка и задокументировал множество случаев искажения первоначальных результатов исследований. В некоторых случаях выводы статей были противоположны выводам, представленным в рамках.

Пандемия повлияла на изучение математики. Чтобы вернуться на путь достижений, потребуются усилия учителей, родителей и учеников. К сожалению, если государство примет предложенную структуру в ее нынешнем виде, документ мало поможет в решении предстоящей тяжелой работы.

Источник